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1 .一 种 微 流 体 交 联 打 印 头 材料 流感 测 系统 ,其 包括 : 
微 流 体 交 联 打印 头 ; 
相机 系统 ,所 述 相机 系统 用 于 监测 通过 所 述 微 流体 交 联 打印 头 的 材料 流 并 提供 所 述 材 
料 流 的 流 式 传输 图 像 ,所 述 材料 流 包括 至 少 一 种 可 交 联 材料 ,优选 地 其 中 所 述 至 少 一 种 可 
交 联 材料 包括 水 凝 胶 ; 以 及 
计算 机 系统 ,所 述 计算 机 系统 用 于 通过 分 析 所 述 流 式 传输 图 像 中 表示 的 所 述 材料 流 来 
确定 由 所 述 材 料 流 产生 的 交 联 导致 的 打印 纤维 的 物理 特性 ; 
其 中 所 述 计 算 机 系统 包括 基于 机 器 学 习 的 系统 ,所 述 基于 机 器 学 习 的 系统 将 所 述 材料 
流 的 所 述 流 式 传输 图 像 与 用 户 建 立 的 材料 流 参数 进行 比较 ,并 且 记 录 所 述 材 料 流 的 所 述 材 
料 流 参数 和 所 述 比较 的 结果 ,所 述 用 户 建立 的 材料 流 参数 对 应 于 打印 纤维 的 在 预先 确定 的 
公差 内 的 物理 特性 。 
2. 如 权利 要 求 1 所 述 的 系统 ,其 中 所 述 微 流体 交 联 打印 头 包 括 一 个 或 多 个 透明 通道 ,并 
且 所 述 相机 系统 监测 通过 所 述 一 个 或 多 个 透明 通道 中 的 至 少 一 个 透明 通道 的 材料 流 , 优 选 
地 其 中 所 述 微 流 体 交 联 打印 头 包括 透明 喷嘴 或 分 配 通道 。 
3. 如 权利 要 求 1 或 权利 要 求 ? 所 述 的 系统 ,其 中 所 述 相机 系统 包括 相对 于 所 述 一 个 或 多 
个 透明 通道 中 的 所 述 至 少 一 个 透明 通道 以 第 丰 定 位 的 第 一 相机 和 相对 于 所 述 一 个 或 
多 个 透明 通道 中 的 所 壕 宇 光 -个 透明 通道 以 不 同 的 第 二 角度 定位 的 第 二 相机 。 
4. 如 权利 要 求 3 所 述 的 系统 ,其 中 所 述 第 一 相机 和 所 述 第 二 相机 相对 于 彼此 成 直角 。 
5. 如 权利 要 求 1 或 权利 要 求 2 所 述 的 系统 ,其 中 所 述 相机 系统 包括 相机 和 多 个 反射 镜 ， 
所 述 反 射 镜 被 定位 成 提供 相对 于 所 述 一 个 或 多 个 透明 通道 中 的 所 述 至 少 一 个 透明 通道 的 
第 一 视图 和 不 同 的 第 二 视图 ,所 述 相机 接收 所 还 第 一 视图 和 所 述 第 二 视图 的 图 像 。 
6. 如 权利 要 求 5 所 述 的 系统 ,其 中 所 述 第 二 视图 与 所 述 第 一 视图 正 交 。 
7. 如 权利 要 求 5 或 权利 要 求 6 所 述 的 系统 ,其 中 所 述 多 个 反射 镜 和 包括 被 布置 成 提供 所 述 
第 一 视图 和 所 述 第 二 视图 的 三 个 反射 镜 。 
8. 如 权利 要 求 3 或 4 所 述 的 系统 ,其 中 所 述 微 流 体系 统 包 括 多 个 透明 通道 ,并 且 所 述 相 
机 系统 包括 相等 的 多 对 第 一 相机 和 第 二 相机 ,每 对 中 的 每 个 第 一 相机 和 第 二 相机 相对 于 彼 
此 成 直角 定位 ,并 且 所 述 多 对 第 一 相机 和 第 二 相机 中 的 每 对 第 一 相机 不 相机 监测 通过 
所 述 多 个 透明 通道 中 的 不 同 的 相应 一 个 透明 通道 的 材料 流 。 
9. 如 前 述 权利 要 求 中 任 一 项 所 述 的 系统 ,其 中 所 述 基于 机 器 学 习 的 系统 识别 所 述 材料 
流 中 与 所 述 用 户 建 立 的 材料 流 参数 的 一 个 或 多 个 仿 差 。 
10. 如 权利 要 求 9 所 述 的 系统 ,其 中 由 应 于 所 识别 的 个 或 多 个 偏差 ,所 述 基于 机 器 学 
习 的 系统 识别 调整 所 述 材 料 流 参数 是 否 是 必要 的 。 
11. 如 权利 要 求 9 或 10 所 述 的 系统 ,其 中 所 述 基于 机 器 学 习 的 系统 响应 于 累积 偏差 超过 
预先 确定 的 量 来 调整 所 述 材料 流 参数 。 
12. 如 前 述 权利 要 求 中 任 一 项 所 述 的 系统 ,其 还 包括 调整 所 述 材料 流 参数 ,以 便 将 所 述 
打印 纤维 的 物理 特性 保持 在 所 述 预 先 确 定 的 公差 内 。 
13. 如 前 述 权 利 要 求 中 任 一 项 所 述 的 系统 ,其 中 所 述 基 于 机 器 学 习 的 系统 对 所 述 材 料 
流 的 所 述 流 式 传 输 图 像 执 行 对 象 检 测 和 /或 语义 分 割 。 
14. 如 权利 要 求 13 所 述 的 系统 ,其 中 所 述 对 象 检测 和 /或 语义 分 割 使 得 能 够 检测 所 述 材 
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33. 如 前 述 权利 要 求 中 任 一 项 所 述 的 系统 ,其 中 所 述 基于 机 需 学 习 的 系统 包括 图 形 处 


理 单 元 (GPU) 。 
34. 如 权利 要 求 3 至 5 中 任 一 项 所 述 的 系统 ,其 还 包括 发 光 二 极 管 (LED) 或 LED 阵 列 以 照 
亮 所 述 透 明 通 道中 的 一 个 或 多 个 透明 通道 。 

35. 如 权利 要 求 34 所 述 的 系统 ,其 还 包括 分 别 用 于 所 述 相机 中 的 每 个 相机 的 一 个 LED 或 
LED[ 阵 列 。 

36. 如 权利 要 求 34 或 35 所 述 的 系统 ,其 中 每 个 LED 或 LED 阵 列 定 位 在 相应 相机 后 面 。 

37. 如 权利 要 求 34 或 35 所 述 的 系统 ,其 中 每 个 LED 或 LED 阵 列 定位 在 透明 通道 的 与 所 i 
相应 相机 相对 的 一 侧 上 。 

38. 如 权利 要 求 5 或 权利 要 求 6 所 述 的 系统 ,其 中 所 述 多 个 反射 镜 包 括 两 个 反射 镜 , 其 
所 述 反 射 镜 中 的 一 个 反射 镜 能 够 旋转 以 向 所 述 相机 交 蔡 地 提供 所 述 第 一 视 几 和 所 述 第 二 
视图 。 

39. 一 种 用 于 监测 通过 微 流 体 交 联 打印 尖 的 材料 流 的 方法 ,所 述 方法 包括 : 

使 用 相机 系统 获得 通过 微 流 体 交 联 打 印 头 的 材料 流 的 流 式 传输 图 像 , 所 述 材 料 流 包 括 
至 少 一 种 可 交 联 材料 ,优选 地 其 中 所 述 至 少 一 种 可 交 联 材料 包括 水 凝 胶 ; 以 及 

通过 分 析 在 所 述 流 式 传输 图 像 中 表示 的 所 述 材料 流 来 确定 由 所 述 材料 流产 生 的 交 联 
导致 的 打印 纤维 的 物理 特性 ,所 述 确定 包括 使 用 基于 机 器 学 习 的 系统 将 所 述 材 料 流 的 所 述 
流 式 传输 图 像 与 用 户 建立 的 材料 流 参 数 进行 比较 ,所 述 用 户 建 立 的 材料 流 参数 对 应 于 打印 
纤维 的 在 预先 确定 的 公差 内 的 物理 特性 。 

40. 如 权利 要 求 39 所 述 的 方法 ,其 中 所 述 获 得 包括 通过 所 述 微 流 体 交 联 打印 头 的 一 个 
或 多 个 透明 通道 获得 所 述 流 式 传输 图 像 。 

41. 如 权利 要 求 39 或 权利 要 求 40 所 述 的 方法 ,其 中 所 述 获 得 包括 相对 于 所 述 一 个 或 多 
个 透明 通道 中 的 至 少 一 个 透明 通道 以 第 一 角度 定位 所 述 相 机 系统 中 的 第 一 相机 ,以 及 相对 
于 所 述 一 个 或 多 个 透明 通道 中 的 所 述 至 少 一 个 透明 通道 以 不 同 的 第 二 角度 定位 所 述 相 机 
系统 中 的 第 二 相机 。 

42. 如 权利 要 求 41 所 述 的 方法 ,其 中 所 述 定 位 包括 将 所 述 第 一 相机 和 所 述 第 二 相机 定 
位 成 相对 于 彼此 成 直角 。 

43. 如 权利 要 求 39 或 权利 要 求 40 所 述 的 方法 ,其 中 所 述 获 得 包括 定位 所 述 相机 系统 中 
的 相机 以 提供 相对 于 所 述 一 个 或 多 个 透明 通道 中 的 所 述 至 少 一 个 透明 通道 的 第 一 视图 ,以 
及 定位 多 个 反射 镜 以 提供 相对 于 所 述 一 个 或 多 个 透明 通道 中 的 所 述 至 少 一 个 透明 通道 的 
不 同 的 第 二 视图 。 

44. 如 权利 要 求 43 所 述 的 方法 ,其 中 所 述 第 二 视图 与 所 述 第 一 视图 正 交 。 

45. 如 权利 要 求 43 或 权利 要 求 44 所 述 的 方法 ,其 中 所 述 定位 包括 定位 三 个 反射 镜 以 提 
供 所 述 第 二 视图 。 
46. 如 权利 要 求 39 至 45 中 任 一 项 所 述 的 方法 ,其 中 所 述 比 较 包 括 识别 所 述 材料 流 中 与 
所 述 用 户 建立 的 材料 流 参数 的 一 个 或 多 个 偏差 。 

7. 如 权利 要 求 46 所 述 的 方法 ,其 还 包括 确定 所 述 材 料 流 中 的 所 述 一 个 或 多 个 偏差 是 
否 超 过 预先 确定 的 量 ,并 且 响 应 于 所 述 确定 来 调整 所 述 用 户 建立 的 材料 流 参数 中 的 一 个 或 
多 个 用 户 建立 的 材料 流 参 数 , 以 将 所 述 打印 纤维 的 所 述 物理 特性 保持 在 所 述 预 先 确 定 的 公 
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差 内 。 
48. 如 权利 要 求 39 至 47 中 任 一 项 所 述 的 方法 ,其 中 所 述 确定 还 包括 使 用 所 述 基于 机 器 
的 学 习 系统 对 所 述 材料 流 的 所 述 流 式 传输 图 像 执 行 对 象 检 测 和 /或 语义 分 割 。 
49. 如 权利 要 求 48 所 述 的 方法 ,其 中 所 述 对 象 检测 和 /或 语义 分 割 使 得 能 够 检测 所 述 材 
料 流 内 的 一 个 或 多 个 对 象 的 位 置 。 
50. 如 权利 要 求 48 或 权利 要 求 49 所 述 的 方法 ,其 中 所 述 对 象 检 测 和 /或 语义 分 割 使 得 能 
够 对 所 述 材料 流 内 的 所 述 一 个 或 多 个 对 象 的 形状 、 大 小 和 /或 量 进行 视觉 估计 。 
51. 如 权利 要 求 39 至 50 中 任 一 项 所 述 的 方法 ,其 中 所 述 微 流 体 交 联 打 印 头 包括 三 维 
(3D) 生物 打印 打印 头 ,并 且 其 中 所 述 获得 包括 通过 所 述 3D 生 物 打 印 打 印 头 中 的 一 个 或 多 个 
透明 通道 获得 流 式 传输 图 像 ,所 述 3 生物 打印 打印 头 产生 生物 打印 纤维 。 
52. 如 权利 要 求 51 所 述 的 方法 ,其 中 所 述 监测 包括 监测 所 述 3D 生 物 打印 打印 关内 的 多 


个 通道 ,所 述 多 个 通道 为 所 述 材 料 流 选 择 性 地 提供 相应 的 多 种 材料 。 

53. 如 权利 要 求 39 至 52 中 任 一 项 所 述 的 方法 ,其 中 所 述 物理 特性 包括 生物 打印 纤维 的 
同心 度 。 

54. 如 权利 要 求 39 至 53 中 任 一 项 所 述 的 方法 ,其 中 所 述 材料 流 还 包括 至 少 一 种 生物 体 
材料 ; 优选 地 其 中 所 述 至 少 一 种 生物 体 材料 包括 细胞 群 。 

55. 如 权利 要 求 54 所 述 的 方法 ,其 中 所 述 细 胞 群 选 自 包括 单 细胞 悬 液 、 细 胞 聚合 体 、 允 
胞 球体 、 细 胞 类 器 官 和 /或 微粒 的 组 ,或 者 由 其 组 成 的 组 。 


56. 如 权利 要 求 54 或 权利 要 求 55 所 述 的 方法 ,其 中 所 述 材料 流 中 的 材料 还 包括 染料 、 颜 
料 或 胶体 。 
57. 如 权利 要 求 54 至 56 中 任 一 项 所 述 的 方法 ,其 中 所 述 生物 打印 纤维 是 同 轴 分 层 水 凝 
胶 纤维 。 

58. 如 权利 要 求 54 至 57 中 任 一 项 所 述 的 方法 ,其 中 所 述 生物 打印 纤维 包括 芯 水 凝 胶 材 
料 和 轩 绕 所 述 芯 水 凝 胶 材料 的 壳 水 凝 胶 材料 ,其 中 所 述 芯 水 凝 胶 材料 在 所 述 预 先 确定 的 公 
差 内 同心 地 设置 在 所 述 壳 水 凝 胶 材 料 内 。 
59. 如 权利 要 求 52 至 58 中 任 一 项 所 述 的 方法 ,其 中 所 述 材料 流 中 细胞 的 存在 充当 造影 
剂 ,以 促进 测量 所 述 生物 打印 纤维 的 物理 特性 。 


N 


60. 如 权利 要 求 39 所 述 的 方法 ,其 还 包括 响应 于 所 述 确定 ,控制 所 述 材料 流 以 将 所 述 打 
印 纤维 的 所 述 物理 特性 保持 在 所 述 预 先 确定 的 公差 内 。 

61. 如 权利 要 求 60 所 述 的 方法 ,其 中 控制 所 述 材料 流 包 括 控制 所 述 微 流体 效 置 内 材料 
的 位 移 。 

62. 如 权利 要 求 60 所 述 的 方法 ,其 中 控制 所 述 材料 流 包 括 控制 所 述 微 流体 装置 内 所 述 


材料 流 的 压力 。 

63. 如 权利 要 求 39 至 62 中 任 一 项 所 述 的 方法 ,其 中 所 述 基 于 机 器 学 习 的 系统 选 自 由 卷 
积 神经 网 络 (CNN) \ 长 短期 记忆 (LSTW 网络 .递归 神经 网 络 (RNN) 、 递 归 卷 积 神经 网 络 (RCNN) 
或 RNN 和 CNN 的 组 合 组 成 的 组 。 
64. 如 权利 要 求 39 至 63 中 任 一 项 所 述 的 方法 ,其 中 所 述 基于 机 器 学 习 的 系统 包括 图 
处 理 单元 (GPU) 。 

65. 如 权利 要 求 40 至 43 中 任 一 项 所 述 的 方法 ,其 还 
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包括 定位 发 光 二 极 管 (LED) 或 LED 阵 


pa 
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列 以 照 亮 所 述 透 明 通 道中 的 一 个 或 多 个 透明 通道 。 

66. 如 权利 要 求 65 所 述 的 方法 ,其 还 包括 分 别 为 所 述 相机 中 的 每 个 相机 定位 一 个 LED 或 
LED 阵 列 。 

67. 如 权利 要 求 65 或 权利 要 求 66 所 述 的 方法 ,其 还 
点 相机 后 面 。 
68. 如 权利 要 求 65 或 权利 要 求 66 所 述 的 方法 ,其 还 
明 通 道 的 与 所 述 相应 相机 相对 的 位 置 上 。 
69. 如 权利 要 求 43 或 权利 要 求 44 所 述 的 方法 ,其 中 所 述 定 位 包括 定位 两 个 反射 镜 以 向 
所 述 相机 交 蔡 地 提供 所 述 第 一 视图 和 所 述 第 二 视图 ,其 中 所 述 反射 镜 中 的 一 个 反射 镜 能 够 
旋转 以 向 所 述 相机 交替 地 提供 所 述 第 一 视图 和 所 述 第 二 视图 。 

70. 如 权利 要 求 39 至 69 中 任 一 项 所 述 的 方法 ,其 还 包括 通过 使 用 所 述 基于 机 器 学 习 的 
系统 对 所 述 流 式 传输 图 像 执 行 对 象 检 测 和 /或 语义 分 割 来 分 析 在 所 述 流 式 传输 图 像 中 表示 
的 所 述 材料 流 来 识别 所 述 材料 流 中 的 一 个 或 多 个 缺陷 。 

71 .如 权利 要 求 70 所 述 的 方法 ,其 中 所 述 一 个 或 多 个 缺陷 是 堵 赛 物 和 /或 气泡 。 

72. 如 权利 要 求 39 至 69 中 任 一 项 所 述 的 方法 ,其 还 包括 提供 所 述 材料 流 内 的 一 个 或 多 
个 对 象 的 常规 量 和 /或 分 布 ,优选 地 其 中 所 述 一 个 或 多 个 对 象 包括 生物 体 材料 。 

73. 如 权利 要 求 39 至 72 中 任 一 项 所 述 的 方法 ,其 还 包括 分 析 所 述 忆 水 凝 胶 材 料 是 否 同 
心地 设置 在 所 述 壳 水 凝 胶 材 料 中 。 
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[0008] ”此 外 ,材料 异常 (诸如 气泡 ) 以 及 在 细胞 负载 纤维 的 情况 下 的 细胞 篮 也 可 能 导致 仿 
心 * 图 1A 至 图 1F 示 出 了 沿 着 纤维 的 表示 的 长 度 和 直径 截取 的 相应 横 截 面 视 图 ,其 中 心 在 纤 
维 的 壳 内 的 相应 位 置 不 同 。 在 图 1A 中 ,纤维 100 具 有 中 心 轴线 110 、 芯 120 、 芯 外 缘 130、 壳 140 
和 壳 外 缘 150。 对 应 的 编号 适用 于 图 1B 至 图 1F。 图 1A 是 芯 120 和 壳 140 之 间 同 心 的 纤维 的 示 
例 . 图 1B 至 图 1F 是 偏心 的 不 同 示 例 。 
[0009] ”期望 提供 一 种 系统 ,该 系统 不 仅 监 测 纤 维 产 生 , 而 且 提 供用 于 在 微 流体 交 联 期 间 
校正 所 识别 的 偏心 的 反馈 机 制 , 还 期 望 提 供 一 种 系统 ,该 系统 教导 3D 生 物 打印 系统 产生 具 
有 一 致 的 芯 和 壳 直 径 的 一 致 地 同心 的 纤维 ,以 促进 将 被 接受 的 3D 组 织 的 产生 。 


发 明 内 容 

[0010] ”本 发 明 通 过 将 计算 机 视觉 和 深度 学 习 集成 到 三 维 (3D) 生物 打印 平台 中 ,从 而 使 得 
能 够 直接 监测 微 流 体 交 联 打印 头 内 的 多 种 不 同 材料 (包括 例如 含 细胞 的 水 凝 股 和 其 他 可 交 
联 材料 ) 的 操作 和 流动 ,来 解决 本 领域 中 的 上 述 问题 .在 实施 方案 中 ,本 发 明 包括 一 个 或 多 
个 相机 作为 计算 机 视觉 系统 和 方法 的 一 部 分 ,以 对 微 流 体 交 联 打印 关内 多 种 不 同 材料 的 同 
时 流动 进行 成 像 .进一步 的 实施 方案 包括 用 于 相机 中 的 每 个 相机 的 发 光 二 极 管 LED) 或 LED 
阵列 ,以 照 吏 微 流 体 打印 头 和 其 中 的 纤维 的 透明 特征 ,在 实施 方案 中 ,一 个 或 多 个 反射 镜 可 
以 代替 相机 中 的 一 个 相机 。 
[0011] ”本 发 明 的 实施 方案 使 得 能 够 在 生物 材料 流出 微 流体 交 联 北 置 以 形成 用 于 3D 生 物 
打印 的 纤维 时 非 接 触 地 感 测 生物 材料 的 特性 ,实施 方案 还 实现 了 自动 化 分 析 , 这 继而 实现 
了 打印 纤维 特性 的 定量 测量 的 推导 。 这 些 测量 可 以 用 作 质 量 控制 和 /或 质量 保证 参数 。 
[0012] ”本 发 明 的 方面 将 计算 机 视觉 和 和 信 工 智能 /深度 学 习 / 机 器 学 习 集 成 到 3D 生 物 打印 
平台 中 ,以 直接 监测 微 流 体 交 联 效 置 内 的 不 同 材 料 包括 一 种 或 多 种 水 凝 胶 材 料 ) 的 操作 和 
时 流动 ,在 实施 方案 中 ,本 发 明 的 系统 使 得 能 够 非 接 触 地 感 测 纤维 形成 ,本 发 明 系 统 的 实 
施 方案 提供 自动 化 分 析 , 以 便 导出 打印 纤维 特性 的 定量 测量 作为 质量 控制 /质量 保证 参数 。 
在 一 些 实施 方案 中 ,此 类 定量 测量 包括 在 其 打印 期 间 对 整个 纤维 中 的 生物 体 材料 
(biological material) (例如 ,细胞 ) 进行 实时 概括 定量 ,以 便 根据 整个 打印 纤维 中 的 生物 
材料 的 一 致 性 对 纤维 质量 进行 定性 评估 。 在 一 些 实施 方案 中 ,此 类 定量 测量 包括 对 材料 
流 内 的 其 他 对 象 (例如 ,微粒 ) 的 实时 概括 定量 。 
[0013] ”在 实施 方案 中 ,可 以 采用 不 同 的 机 器 学 习 工 具 。 例 如 , 卷 积 神经 网 络 (CNN) 可 以 用 
于 对 象 检 测 。 作 为 另 一 个 示例 ,语义 分 割 可 以 用 于 在 打印 期 间 监 测 和 分 析 打 印 头 和 所 得 纤 
维 的 不 同 特性 。 
[0014] ”在 实施 方案 中 ,各 种 机 器 学 习 工 具 的 输出 可 以 被 实时 反馈 到 3D 生 物 打印 平台 ,以 
便 调整 打印 头 的 微 流 体 通 道内 的 压力 和 /或 位 移 以 及 随后 的 材料 流动 ,从 而 校正 直径 和 /或 
偏心 ,从 而 实现 高 质量 纤维 的 持续 产生 并 最 小 化 生物 打印 纤维 中 昂贵 的 生物 材料 和 细胞 输 
入 的 损失 。 
[0015] ”在 实施 方案 中 ,材料 流 包括 至 少 一 种 可 交 联 材料 ,以 及 优选 地 至 少 一 种 水 凝 胶 , 任 
选 地 还 包括 至 少 一 种 生物 体 材 料 , 例 如 生物 相 容 性 材料 中 的 细胞 群 ,在 实施 方案 中 ,细胞 群 
选 自 包括 单 细胞 县 液 、 细 胞 聚合 体 、 细 胞 球体 、 细 胞 类 器 官 或 它们 的 组 合 的 组 ,或 者 由 其 组 
成 的 组 。 在 实施 方案 中 ,材料 流 包括 微粒 。 
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超过 预先 确定 的 量 来 调整 材料 流 参 数 , 在 实施 方案 中 ,基于 机 器 学 习 的 系统 调整 材料 流 参 
数 ,以便 将 打印 纤维 的 物理 特性 保持 在 预先 确定 的 公差 内 .在 实施 方案 中 ,物理 特性 包括 生 
物 打印 纤维 的 直径 。 在 实施 方案 中 ,物理 特性 包括 生物 打印 纤维 内 各 层 的 同心 度 。 
[0025] ”在 实施 方案 中 ,基于 机 咒 学 习 的 系统 对 材料 流 的 流 式 传输 图 像 执 行 对 象 检测 2 
或 语义 分 割 .在 实施 方案 中 ,对 象 检测 和 /或 语义 分 割 使 得 能 够 检测 材料 流 内 的 一 个 或 多 
对 和 象 的 位 置 。 在 实施 方案 中 ,对 和 象 检 测 和 /或 语义 分 割 使 得 能 够 视觉 估计 材料 流 内 
多 个 对 象 的 形状 和 /或 大 小 。 在 实施 方案 中 ,对 象 检测 和 /或 语义 分 制 使 得 能 够 视觉 估计 材 
料 流 内 生物 体 材 料 (例如 ,细胞 群 ) 的 常规 量 和 /或 分 布 。 
[0026] ”在 实施 方案 中 , 微 流体 装置 包括 三 维 (3D) 生物 打印 头 ,并 且 系 统 包 括 3D 生 物 打 印 
系统 以 产生 生物 打印 纤维 。 在 实施 方案 中 ,3D 生 物 打印 打印 头 包括 多 个 通道 以 选择 性 地 提 
供 材料 流 的 相应 的 多 种 材料 。 
[0027] ”在 实施 方案 中 ,该 至 少 一 种 可 交 联 材料 包括 水 凝 肌 .在 实施 方案 中 ,材料 流 还 包括 
3 #7 料 ;优选 地 其 中 所 述 至 少 一 种 生物 体 材料 包括 细胞 群 ,在 实施 方案 中 , 
胞 群 选 自 包括 单 胞 县 液 、 细 胞 聚集 体 、 细 胞 球体 、 细 胞 类 器 官 或 它们 的 组 合 的 组 ,或 者 | 
其 组 成 的 组 ,在 实施 方案 中 ,材料 流 还 包括 微粒 ,在 实施 方案 中 ,材料 流 还 包括 染料 、 颜 料 或 
胶体 .在 实施 方案 中 ,材料 流 中 细胞 的 存在 充当 造影 剂 (contrast agent) ,以 便于 测量 生物 
打印 纤维 的 物理 特性 。 
[0028] ”在 示例 性 实施 方案 中 , 含 细 胞 的 生物 材料 流 过 相应 的 通道 以 产生 生物 打印 纤维 。 
在 实施 方案 中 ,生物 打印 纤维 是 同 轴 分 层 水 瞩 肌 纤维 ,在 实施 方案 中 ,生物 打印 纤维 包括 芯 
水 凝 胶 材 料 和 围绕 忆 水 凝 胶 材 料 的 壳 水 凝 胶 材 料 , 其 中 心 水 凝 胶 材 料 在 预先 确定 的 公差 内 
同心 地 设置 在 壳 水 凝 胶 材 料 内 。 
[0029] 在 一 个 实施 方案 中 ,计算 机 系统 使 用 比较 的 结果 通过 调整 微 流体 装置 内 材料 的 位 
移 来 控制 材料 流 , 在 实施 方案 中 ,该 系统 还 包括 位 移 控制 器 ,该 位 移 控制 器 响应 于 比较 的 结 
果 来 控制 在 打印 纤维 的 打印 期 间 通 过 微 流 体 装置 的 材料 的 材料 流 和 位 移 。 

[0030] ”在 男 一 个 实施 方案 中 ,计算 机 系统 使 用 比较 的 结果 通过 调整 微 流 体 装 置 内 的 材料 
流 的 压力 来 控制 材料 流 , 在 实施 方案 中 ,该 系统 还 包括 压力 控制 器 ,该 压力 控制 器 响应 于 比 
较 的 结果 来 控制 在 打印 纤维 的 打印 期 间 通 过 微 流 体 冯 置 的 材料 流 和 压力 。 
[0031] ”在 实施 方案 中 ,基于 机 器 学 习 的 系统 选 自由 卷 积 神经 网 络 (CNN) \ 长 短期 记忆 
(LSTM) 网 络 、 递 归 神 经 网 络 (RNN) ` 递归 卷 积 神经 网 络 (RCNN) 或 RNN 和 CNN 的 组 合 组 成 的 组 。 
在 实施 方案 中 ,基于 机 器 学 习 的 系统 包括 图 形 处 理 单元 (GPU) 。 
[0032] ”在 实施 方案 中 ,该 系统 还 包括 发 光 二 极 管 (LED) 或 LED 阵 列 以 照 亮 透 明 通 道中 的 
个 或 多 个 透明 通道 .在 实施 方案 中 ,该 系统 还 包括 分 别 用 于 相机 中 的 每 个 相机 的 一 个 LED 或 
LED 阵 列 。 在 一 些 实施 方案 中 ,每 个 LED 或 LED 阵 列 定 位 在 相应 相机 后 面 。 在 蔡 代 实施 方案 中 ， 
每 个 LED 或 LED 阵 列 定 位 在 透明 通道 的 与 相应 相机 相对 的 一 侧 上 。 
[0033] ”在 另 一 方面 ,本 发 明 提 供 了 一 种 用 于 监测 通过 微 流体 交 联 打印 头 的 材料 流 的 方 
法 ,所 述 方 法 包括 :使 用 相机 系统 获得 通过 微 流 体 交 联 打 印 关 的 材料 流 的 流 式 传输 图 像 ; 通 
过 分 析 在 流 式 传输 图 像 中 表示 的 材料 流 来 确定 由 材料 流产 生 的 交 联 导致 的 打印 纤维 的 物 
理 特性 ,该 确定 包括 使 用 基于 机 器 学 习 的 系统 将 材料 流 的 流 式 传输 图 像 与 用 户 建立 的 材料 
流 参数 进行 比较 ,该 用 户 建立 的 材料 流 参数 对 应 于 打印 纤维 的 在 预先 确定 的 公差 内 的 物理 
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特性 ;并 且 响 应 于 该 确定 ,控制 材料 流 以 将 打印 纤维 的 物理 特性 保持 在 预先 确定 的 公差 内 。 
优选 地 ,获得 包括 通过 微 流体 交 联 打印 头 的 一 个 或 多 个 透明 通道 获得 流 式 传输 图 像 。 

[0034] ”在 实施 方案 中 ,获得 包括 相对 于 该 一 个 或 多 个 透明 通道 中 的 至 少 一 个 透明 通道 以 
第 一 角度 定位 相机 系统 中 的 第 一 相机 ,以 及 相对 于 该 一 个 或 多 个 透明 通道 中 的 至 少 一 个 透 
明 通 道 以 不 同 的 第 二 角度 定位 相机 系统 中 的 第 二 相机 。 在 实施 方案 中 ,定位 包括 将 第 一 相 
机 和 第 二 相机 定位 成 相对 于 彼此 成 直角 。 
[0035] ”在 替代 实施 方案 中 ,获得 包括 定位 相机 系统 中 的 相机 以 提供 相对 于 该 一 个 或 多 个 
透明 通道 中 的 至 少 一 个 透明 通道 的 第 一 视图 ,以 及 定位 多 个 反射 镜 以 提供 相对 于 该 一 个 或 
多 个 透明 通道 中 的 至 少 一 个 透明 通道 的 不 同 的 第 二 视图 .在 实施 方案 中 , 第 二 视图 与 第 一 
视图 正 交 。 在 实施 方案 中 ,定位 包括 定位 三 个 反射 镜 以 提供 第 二 视图 。 在 实施 方案 中 ,定位 


| 


包括 定位 两 个 反射 镜 以 向 所 述 相机 交 蔡 地 提供 第 一 视图 和 第 二 视图 ,其 中 有 反射 镜 中 的 一 个 
反射 镜 能 够 次 转 以 向 所 述 相机 交替 地 提供 第 一 视图 和 第 二 视图 。 

[0036] ”在 实施 方案 中 ,比较 包括 识别 材料 流 中 与 用 户 建立 的 材料 流 参 数 的 一 个 或 多 个 偏 
差 , 在 实施 方案 中 ,该 方法 还 包括 确定 材料 流 中 的 一 个 或 多 个 偏差 是 否 超 过 预先 确定 的 量 ， 
并 且 响 应 于 该 确定 来 调整 用 户 建立 的 材料 流 参数 中 的 一 个 或 多 个 用 户 建立 的 材料 流 参 数 ， 


以 将 打印 纤维 的 物理 特性 保持 在 预先 确定 的 公差 内 .在 实施 方案 中 ,物理 特性 包括 生物 打 
印 纤维 的 直径 。 在 实施 方案 中 ,物理 特性 包括 生物 打印 纤维 的 同心 度 。 
[oo37] 在 实施 方案 中 ,确定 还 包括 使 用 基于 机 器 学 习 的 系统 对 材料 流 的 流 式 传输 图 像 扫 
行 对 象 检测 和 /或 语义 分 割 。 在 实施 方案 中 ,对 象 检测 和 /或 语义 分 制 使 得 能 够 检测 材料 流 
内 的 一 个 或 多 个 对 象 的 位 置 。 在 实施 方案 中 ,对 象 检 测 和 /或 语义 分 制 使 得 能 够 视觉 估计 和 材 
料 流 内 的 一 个 或 多 个 对 象 的 形状 和 /或 大 小 * 在 实施 方案 中 ,对象 检测 和 /或 语义 分 制 使 得 
能 够 视觉 估计 材料 流 内 生物 体 材料 (例如 ,细胞 群 ) 的 党 规 量 和 /或 分 布 。 
[o038] ”在 实施 方案 中 ,获得 包括 通过 微 流 体 装置 中 的 三 维 (3D) 生物 打印 头 中 的 一 个 或 多 
个 透明 通道 获得 流 式 传输 图 像 ,30 生 物 打印 头 产生 生物 打印 纤维 ,在 实施 方案 中 ,监测 包括 
监测 3D 生 物 打印 打印 头 内 的 多 个 通道 ,该 多 个 通道 为 材料 流 选择 性 地 提供 相应 的 多 种 村 
料 ， 
fo039] ”在 实施 方案 中 ,该 至 少 一 种 可 交 联 材料 包括 水 凝 胶 * 在 实施 方案 中 ,材料 流 还 包括 
至 少 一 种 生物 体 材料 ;优选 地 其 中 所 述 至 少 一 种 生物 体 材料 包括 细胞 群 。 在 实施 方案 中 , 
胞 群 选 自 包括 单 细胞 悬 液 \ 细 胞 聂 集体、 细胞 球体 ` 细 胞 类 器 官 或 它们 的 组 合 的 组 ,或 者 | 
成 的 组 .在 实施 方案 中 ,材料 流 还 包括 微粒 .在 实施 方案 中 ,材料 流 还 包括 染料 .颜料 或 
胶体 ,在 实施 方案 中 ,材料 流 中 细胞 的 存在 充当 造影 剂 ,以 便于 测量 生物 打印 纤维 的 物理 特 


i 


I 


wk 


[0040] ”在 示例 性 实施 方案 中 , 含 细胞 的 生物 材料 流 过 相应 的 通道 以 产生 生物 打印 纤维 。 
在 实施 方案 中 ,生物 打印 纤维 是 同 轴 分 层 水 凝 胶 纤维 。 在 实施 方案 中 ,生物 打印 纤维 包括 心 
水 凝 胶 材 料 和 国 绕 心 水 凝 胶 材料 的 壳 水 凝 胶 材 料 , 其 中 心 水 凝 胶 材 料 在 预 乞 确定 的 公差 内 
同心 地 设置 在 壳 水 凝 胶 材 料 内 。 
[0041] 在 一 个 实施 方案 中 ,控制 材料 流 包 括 控制 微 流体 装置 内 材料 的 位 移 , 在 力 一 个 实 
施 方案 中 ,控制 材料 流 包 括 控 制 微 流 体 闭 置 内 材料 流 的 压力 。 
[0042] 在 实施 方案 中 ,基于 机 器 学 习 的 系统 选 自由 卷 积 神经 网 络 (CNN) 、 长 短期 记忆 
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(LSTW) 网 络 、 递 归 神 经 网 络 (RNN) 、 递 归 卷 积 神经 网 络 (RCNN) 或 RNN 和 CNN 的 组 合 组 成 的 组 。 
在 实施 方案 中 ,基于 机 器 学 习 的 系统 包括 图 形 处 理 单 元 (GPU) 。 
[0043] ”在 实施 方案 中 ,该 方法 还 包括 定位 发 光 二 极 管 (LED) 或 LED 阵 列 以 照 腕 透明 通道 
的 一 个 或 多 个 透明 通道 在 实施 方案 中 ,该 方法 还 包括 分 别 为 相机 中 的 每 个 相机 定位 一 
LED 或 LED 阵 列 。 在 一 些 实施 方案 中 ,该 方法 包括 将 每 个 LED 或 LED 阵 列 定 位 在 相应 相机 后 面 。 
在 奉 代 实施 方案 中 ,该 方法 包括 将 每 个 LED 或 LED 阵 列 定位 在 透明 通道 的 与 相应 相机 相对 的 
位 置 。 
[0044] ”在 实施 方案 中 ,该 方法 还 包括 通过 使 用 基于 机 顺 学 习 的 系统 对 流 式 传输 图 像 执行 
对 象 检测 和 /或 语义 分 割 来 分 析 在 流 式 传输 图 像 中 表示 的 材料 流 来 识别 材料 流 中 的 一 个 或 
多 个 缺陷 ,例如 堵塞 物 和 /或 气泡 。 
[0045] ”在 实施 方案 中 ,该 方法 还 包括 使 用 基于 机 器 学 习 的 系统 对 流 式 传输 图 像 执 行 对 象 
今 测 和 /或 语义 分 割 来 提供 材料 流 内 的 一 个 或 多 个 对 象 的 常规 量 和 /或 分 布 ,优选 地 其 中 该 
一 个 或 多 个 对 象 包括 生物 体 材料 ,例如 细胞 。 
[0046] ”在 实施 方案 中 ,该 方法 还 包括 分 析 忆 水 凝 胶 材 料 是 否 同 心地 设置 在 过 水 凝 胶 材 料 
中 。 
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附 图 说 明 
[0047] ”并 入 本 文 并 且 构 成 本 说 明 书 的 一 部 分 的 附 图 示 出 了 本 公开 的 实施 方案 并 且 与 说 
明 书 一 起 进一步 用 来 解释 本 公开 的 原理 并 使 相关 领域 的 技术 人 员 能 够 制造 和 使 用 本 公开 。 
[0048] ”图 1A 至 图 IF 示 出 了 不 同 纤 维 的 模 截 面 视图 ; 
[0049] 2A 是 根据 一 个 或 多 个 实施 方案 的 系统 的 概括 框图 ,并 且 图 2B 至 图 2D 是 根据 一 个 
或 多 个 实施 方案 的 相机 视觉 系统 的 更 详细 视图 ; 
[0050] ”图 3 示 出 了 用 于 查看 图 2 的 系统 的 输出 的 显示 的 示例 ; 

[0051] ”图 4A 和 图 4B 示 出 了 根据 一 个 或 多 个 实施 方案 的 用 于 提供 待 在 产生 纤维 中 使 用 的 
材料 的 阀 布 置 ; 
[0052] ”图 5 是 一 个 或 多 个 实施 方案 的 操作 的 概括 流程 图 ; 

[0053] ”图 6A 至 图 6D 示 出 了 与 用 于 执行 案例 研究 的 神经 网 络 训练 相关 的 图 片 和 
[0054] 图 7A 和 图 78 示 出 了 训练 结 宋 ; 
[0055] ”图 8A 至 图 8H 示 出 了 与 案例 研究 相关 的 图 片 和 绘图 ; 
[0056] ”图 8I 示 出 了 干扰 纤维 生成 的 堵塞 物 的 示例 性 图 像 ; 

[0057] ”图 8J 示 出 了 干扰 纤维 生成 的 气泡 的 示例 性 图 像 ; 

[0058] ”图 9A 和 图 9B 示 出 了 与 图 8A 至 图 8H 中 描述 的 案例 研究 相关 的 训练 结果 ; 
[0059] ”图 10A 至 图 10I 示 出 了 与 进一步 的 案例 研究 相关 的 图 片 和 绘图 ; 

[0060] 图 11A 和 图 118 示 出 了 与 图 10A 至 图 10I 中 描述 的 案例 研究 相关 的 训练 结果 ; 
[0061] ”图 12A 至 图 12B 是 在 两 个 不 同时 间 点 拍摄 的 用 于 查看 图 2 的 系统 输出 并 且 摘 绘 了 将 
生物 打印 纤维 的 壳 直 径 控 制 到 期 望 直径 的 显示 的 屏幕 截图 
[0062] ”图 13 示 出 了 在 生物 打印 纤维 的 打印 期 间 来 自生 物 打印 纤维 的 视频 记录 的 三 个 时 
间 点 (0 秒 、30 秒 、90 秒 ) 的 屏 项 截图 ( 左 ) 和 生物 体 材料 的 对 应 概括 定量 ( 右 ) ; 


[0063] ”图 14 示 出 了 在 整个 生物 打印 纤维 的 在 其 打印 期 间 从 纤维 的 视频 记录 重 构 的 部 分 


线 图 ; 


me 
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[0064] 15A 示 出 了 心 和 壳 的 图 像 ,并 且 图 15B3 


具体 实施 方式 


[0065] “本文 结 合 以 下 摘 壕 了 


说 
的 背景 下 ,与 图 13 所 示 类 似 的 纤维 的 包含 4 


明 书 
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物体 材料 的 请 段 的 图 像 ;并 且 


括 所 有 此 类 方面 及 其 等 同 物 
详细 描述 中 变 得 显而易见 。 


中 附 图 描述 了 根 和 


面 。 然 而 ,这 些 方面 仅 指示 了 可 采用 本 发 明 的 原 到 


[0066] ”在 以 下 详细 描述 中 ,提出 了 许多 具体 绢 


情况 下 ,没有 详细 示 出 公 知 的 结构 、 接 口 和 过 程 
域 普通 技术 人 员 来 说 显而易见 的 是 ,本 文公 开 的 那些 具体 细节 不 需要 用 于 实践 本 发 明 , 并 


且 不 代表 对 本 发 明 范 围 的 限制 ,除非 在 权利 要 求 
释 为 对 本 发 明 的 全 部 范围 的 任何 部 分 造成 否认 ,尽管 描述 了 本 公 玫 


这 些 实施 方案 同样 不 此 在 限 


[0067] ”图 2A 示 出 了 可 以 集 


以 集成 到 3D 生 物 打 印 机 平台 中 。 一 个 示例 是 来 


,以 免 个 


节 , 以 便 提 供 对 本 发 明 的 全 面 了 解 。 在 其 他 
必要 地 模糊 本 发 明 。 然 而 ,对 于 本 领 


站 本 发 明 的 全 部 范围 。 


中 陈述 .本 


上 了 壳 内 不 同 忆 位 置 的 图 像 。 


居 本 发 明 的 系统 、 设 备 和 方法 的 某 些 说 明 性 方 
的 各 种 方式 中 的 几 夭 
。 当 结合 附 图 考虑 时 ,本 发 明 


,并 且 本 发 明 旨 在 包 


的 其 他 优点 和 新 甘 特 征 将 从 以 下 


罕 过 顺 嘴 的 轴线 225 (在 图 2A 


仔细 地 观察 图 2A ,形成 计算 机 视觉 系统 的 一 部 分 的 


说 明 书 的 任何 部 分 都 不 应 被 解 


[的 某 些 实施 方案 ,但 是 


或 到 本 发 明 的 实施 方案 中 的 元 件 的 概括 框图 .图 2 中 的 元 件 可 
自 Aspect Biosystems 鸭 RX1 "生物 打印 机 。 更 
两 个 相机 210、215 可 以 分 别 垂直 于 垂直 


中 ,轴线 225 被 放大 以 便于 观察 ) 放置 在 透明 打印 头 喷嘴 220 的 


too68] ”在 本 申请 中 , 透明 


后 面 和 一 侧 ,以 使 得 能 够 通过 提 


上 流 式 传 给 
是 指 足够 半 透 


JJ 


视频 图 像 来 实时 观察 纤 


医 的 3D 打 印 。 
明 以 使 光 能 够 罕 过 微 通道 和 /或 喷嘴 结构 ,并 且 


使 得 能 够 观察 微 通 道 和 /或 喷嘴 内 的 材料 。 在 多 层 纤维 包括 忌 和 一 个 或 多 个 壳 的 


嘴 足 够 透明 以 使 得 能 够 在 视觉 上 区 分 蕊 和 一 个 或 
[0069] 在 一 个 实施 方案 中 ,相机 210、215 相 对 于 彼此 成 90 度 


印 系 统 内 的 喷嘴 布置 和 配置 ， 
实施 方案 ,相机 210、215 的 分 辩 率 可 以 变化 。 


多 


个 壳 。 


Ml 


定位 。 


人 不同 的 角度 


可 能 是 可 接受 的 甚至 是 优选 


在 一 些 实施 方案 


其 他 实施 方案 中 ,更 高 分 辩 率 可 能 是 期 户 


M12 镜 头 (其 中 M12 表示 镜头 上 的 接 ] 


能 是 合适 的 。 


[0071] 2B 示 出 了 相机 210、215 相 对 于 打印 头 喷 
直 罕 过 打印 头 喷嘴 220 的 轴线 225。 图 2C 示 tH 
[0072] ”在 一 些 实施 方案 中 ,相机 被 定位 成 使 得 每 个 镜头 可 以 距离 打 
光圈 和 不 同 视 场 的 不 
两 侧 彼 此 成 直角 放置 ， 


26mm, 以 优化 视 场 内 的 聚焦 和 放大 。 具 有 不 同 f 制 
两 个 相机 在 喷嘴 的 
交 视 图 ,在 一 个 实施 方案 中 ,可 以 提供 附加 的 照明 


不 同 的 定位 。 在 一 种 配置 中 ， 


相机 210、215 可 


中 ,480p 分 状 率 可 为 足够 的 在 


情况 下 , 喷 


根据 单独 或 在 生物 打 
的 。 故 外 ,根据 不 同 的 


以 支持 30FPS 下 的 4 (2160 X 3840 像 素 ) 分 辩 


人 Ab 量 全 
HEAE 


-于 


[机 


适 的 。 实 施 方案 可 以 采用 具有 8MP 构 


的 。 未 来 将 预期 更 高 的 分 辨 率 。 在 一 些 实施 方案 
中 ,隔行 视频 可 以 提供 可 接受 的 视频 质量 。 
[0070] ”在 一 个 实施 方案 中 ， 
率 。 其 他 分 辨 率 和 帧 速度 可 能 是 合 


造 的 焦距 为 11 .9mm 的 


环 的 大 小 ) ,M12 是 一 种 具有 不 同 焦距 并 且 可 具有 不 同 f 


制 光圈 (f-stop) 值 的 镜头 。 具 有 不 同 接 环 大 小 (例如 ,M4 至 M10) 的 其 他 镜头 可 能 是 合适 的 。 
此 外 ,其 他 类 型 的 接 环 诸如 C 接 环 或 CS 接 环 也 可 


2 


13 


适 的 。 除 了 8MP 之 外 的 其 他 构造 也 可 


才 220 的 布置 的 透视 图 ,并且 还 示 出 了 垂 
上 了 相同 布置 的 正视 图 。 


误 
(ay 
FT 


钻头 9 中 心 大 约 


De 


装置 以 从 每 个 相机 


同 焦距 镜头 可 以 实现 


以 产生 喷嘴 的 两 个 正 
后 面 或 从 每 个 相机 的 


CN 118159808 A 说 明 书 8/20 页 


相对 的 一 侧 或 从 这 两 者 照 亮 喷嘴 。 有 照明 装置 可 以 包括 用 于 前 置 相机 210 的 发 光 二 极 管 (LED) 
或 LED 阵 列 230, 以 及 用 于 侧 置 相机 215 的 LED 或 LED 阵 列 235。LED 或 LED 阵 列 230 可 以 与 相机 镜 
头 一 起 定位 在 轴线 上 ,以 投射 光 (在 一 个 实施 方案 中 ,白光 ) 来 照 亮 喷嘴 。 光 可 以 穿 过 狭窄 的 
避 形 或 多 边 形 孔 或 狭 颖 (未 示 出 ) ,以 帮助 将 光 更 具体 地 聚焦 在 要 进行 成 像 的 地 方 。 利 用 这 
些 类 型 的 光学 器 件 布置 , 内 喷嘴 的 边缘 (内 径 ,在 其 内 形成 纤维 ) 以 及 正在 产生 的 纤维 (在 同 
心 纤 维 的 情况 下 , 壳 和 已 ) 可 以 在 相机 视图 中 可 见 。 
[0073] ”在 一 个 实施 方案 中 ,一 个 或 多 个 反射 镜 可 以 被 布置 成 向 相机 提供 期 望 的 视图 ,该 
相机 可 以 是 本 文 描述 的 示例 性 相机 210、215 中 的 任 一 者 。 在 图 2D 中 ,可 以 是 LED 源 的 光源 
270、275 使 光 穿 过 喷嘴 220。 光 源 270 提 供 交 (虚线 ) , 该 光照 射 反射 镜 252 ,被 反射 到 另 一 个 反 
射 镜 256, 然 后 被 反射 到 包括 相机 结构 262 和 镜头 264 的 相机 260 ,光源 275 提 供 光 ( 实 线 ) ,该 
光照 射 另 一 个 反射 镜 254, 并 且 通 过 反射 镜 256 (可 以 是 二 向 色 镜 ) 反射 到 达 相 机 260。 在 一 个 
实施 方案 中 ,反射 镜 和 光源 被 布置 成 使 光 以 直角 穿 过 喷嘴 220。 
[0074] ”利用 打印 头 喷嘴 220 和 在 喷嘴 内 部 产生 的 纤维 的 两 个 正 交 图 像 , 有 可 能 获得 三 个 
值 : 
[0075] 了) 利用 已 知 的 喷嘴 内 人 径 和 已 知 的 镜头 和 距 喷 嘴 中 心 的 距离 ,可 以 测量 喷嘴 内 径 内 
的 像素 数量 ,从 而 确定 每 个 像素 表示 的 水 平 距 离 。 
[0076] ”2) 假设 纤维 的 横 截 面 是 椭圆 形 的 ,可 以 从 两 个 正 交 视图 中 取 纤 维 直 径 和 /或 纤维 
蕊 直径 的 矢量 和 ,并 且 确 定 纤 维和 忌 的 真实 直径 的 上 限 和 下 限 。 
[0077] ”3) 利用 关于 纤维 和 芯 的 左边 缘 和 右边 缘 的 位 置 的 信息 ,可 以 通过 取 忆 中心 相 对 于 
整个 纤维 直径 的 比率 来 连续 计算 芯 相 对 于 整个 纤维 的 同心 度 。 使 用 相同 的 原理 ,也 可 以 连 
续 计 算 纤 维 或 心 相对 于 内 喷嘴 的 同心 度 。 
[0078] ”此 外 ,在 限定 的 流速 和 测量 的 纤维 直径 的 情况 下 ,还 可 以 计算 纤维 速度 ,这 是 用 于 
优化 打印 速度 的 男 一 重要 反馈 。 如 果 喷 嘴 相 对 于 工作 台 移 动 过 快 或 过 慢 , 纤 维和 打印 结构 
的 保 真 度 将 受到 负面 影响 。 
[0079] “机 器 学 习 模块 240 接 收 来 自前 置 相机 210 和 侧 置 相 机 215 的 数据 流 或 捕获 的 图 像 。 
在 实施 方案 中 ,模块 340 可 以 采用 具有 多 个 内 核 的 一 个 或 多 个 GPU 处 理 器 ,以 便于 :机 器 学 已 
系统 执行 数据 流 或 捕获 图 像 的 快速 计算 分 析 的 必要 计算 ;以 及 提供 反馈 以 控制 生物 打印 系 
统 中 的 材料 流 的 模型 的 训练 ,在 实施 方案 中 ,模型 训练 可 以 涉及 测试 和 验证 ,以 促进 通过 被 
训练 的 模型 进行 优化 和 推断 。 
[0080] ”机 器 学 习 模 块 240 可 以 与 计算 机 系统 ( 主 计算 机 )250 交 互 ,该 计算 机 系统 可 以 执行 
多 种 用 户 交 互 功 能 并 且 还 可 执行 系统 交互 功能 。 对 于 用 户 交 互 , 计 算 机 系统 250 可 以 提供 适 
当 的 图 形 显示 和 图 形 用 户 界 面 ,用 于 与 各 种 其 他 部 件 诸 如 相机 210、215、 机 器 学 习 模 块 和 生 
物 打 印 系 统 本 身 (打印 头 喷嘴 220 当 然 是 其 一 部 分 ) 交互 。 

[0081] ”计算 机 系统 250 执 行 的 控制 的 一 部 分 涉及 监测 纤维 同心 度 和 访问 生物 打印 系统 中 
的 控制 系统 以 调整 材料 流 , 无 论 是 通过 控制 下 面 讨论 的 各 种 微 流 体 打 印 头 通道 中 的 压力 ， 
还 是 通过 控制 通过 通道 的 材料 的 位 移 。 在 实施 方案 中 ,控制 可 以 涉及 接 通 或 断 开 或 者 以 其 
他 方式 调整 打印 头 上 的 气动 闪 的 打开 和 闭合 .在 实施 方案 中 , 计算 机 系统 250 执 行 的 控制 的 
一 部 分 涉及 对 象 检 测 和 /或 语义 分 制 。 在 实施 方案 中 ,对象 检测 和 /或 语义 分 割 使 得 能 够 视 
滴 佑 计 材 料 流 内 生物 体 材料 (例如 ,细胞 群 ) 的 各 规 量 和 /或 分 布 。 
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[0082] ”计算 机 系统 250 还 可 以 使 得 能 够 读 取 来 自 相 机 210、215 的 相应 馈送 的 打印 头 特 定 
信息 视图 ,以 使 得 能 够 记录 和 /或 加 载 僻 送 中 的 一 个 或 两 个 馈送 ,并 且 调 整 相机 /视频 参数 ， 
诸如 对 比 度 、 色 调 、 亮 度 和 锐 度 等 。 

[0083] ”图 3 示 出 了 根据 软件 和 伴随 的 用 户 界面 的 实施 方案 的 显示 的 代表 性 图 像 , 以 使 得 
同心 度 监测 和 控制 系统 能 够 调整 微 流体 通道 痢 和 压力 .在 实施 方案 中 ,显示 可 以 示 出 视频 
相机 图 像 的 实时 流 、 自 动 分 审结 果 、 纤 维特 性 和 同心 度 测 试 测量 结果 和 /或 与 识别 的 对 象 
(例如 ,生物 体 材料 ) 相关 的 测量 参数 。 在 其 他 实施 方案 中 ,可 以 显示 通道 状况 诸如 堵塞 物 、 
气泡 或 不 稳定 性 .有些 情 况 可 能 会 建议 用 户 采取 补救 措施 ,诸如 搅动 生物 墨水 以 减少 结 块 ， 
或 者 清洗 通道 以 去 除 气泡 。 其 他 显示 可 能 性 可 以 包括 关于 纤维 特性 的 定量 信息 E 一 个 实 
施 方案 中 ， 自 机 器 学 习 系 统 的 置信 区 间 评 级 ,从 而 指示 特定 图 了 的 分 审 或 分 类 
的 确定 性 程度 。 

[0084] ”图 4A 示 出 了 一 种 打印 尖 400 的 示例 性 配置 ,该 打印 头 可 以 提供 对 包含 不 同 生物 材 
料 或 细胞 的 单独 水 凝 胶 的 控制 ,从 而 使 得 能 够 在 生物 打印 期 间 生 成 不 同 的 单一 材料 纤维 。 
Aspect Biosystems DU0 打印 头 具有 与 图 4A 所 示 相 对 应 的 结构 。 在 图 4A 中 ,分别 通过 管线 
410 (| 同 412 连 接 到 其 上 ) 和 管线 420 ( 闪 422 连 接 到 其 上 ) 提供 不 同 的 材料 .可 以 通过 管线 430 
(| 同 432 连 接 到 其 上 ) 提供 缓冲 剂 ,可 以 通过 管线 440 ( 阅 442 连 接 到 其 上 ) 提供 交 联 材料 生物 
打印 纤维 在 出 口 445 处 产后 。 
[0085] ”图 4B 示 出 了 另 一 种 打印 头 450 的 示例 性 配置 ,该 打印 头 可 以 提供 对 同 轴 分 层 水 凝 
枕 纤 维 的 形成 的 控制 ,该 纤维 由 芯 和 壳 组 成 ,该 芯 和 壳 分 别 由 具有 或 不 具有 细胞 的 不 同 水 
凝 胶 材料 构成 -Aspect Biosystems CENTRA 打印 头 具 有 与 图 4B 所 示 相 对 应 的 结构 。 在 图 4B 
中 ,可 以 通过 管线 460、465 (相应 的 阀 462、467 连 接 到 其 上 ) 提供 芯 材 料 。 可 以 通过 管线 470、 
475 (相应 的 疾 472、477 连 授 到 其 上 ) 提供 壳 材 料 . 可 以 通过 管线 480 (| 赔 482 连 授 到 其 上 ) 提供 
缓冲 材料 ,可 以 通过 管线 490 ( 疾 492 连 接 到 其 上 ) 提供 交 联 材料 ,生物 打印 同 轴 纤维 在 出 口 
495 处 产生 。 
[0086] ”返回 参考 图 2A, 后 置 相 机 210 和 侧 置 相机 215 可 以 指向 图 4A 和 图 4B 中 的 出 口 445、 
495 处 或 之 前 ,以 在 产生 纤维 时 提供 纤维 的 视频 。 
[0087] ”根据 所 使 用 的 材料 流 控制 的 类 型 ,压力 控制 器 或 位 移 控 制 器 可 以 使 得 能 够 控制 在 
3D 打 印 期 间 通 过 打印 头 的 生物 材料 流 和 压力 或 位 移 。 参 考 图 4A 和 图 4B, 通 过 管线 110、420、 
460、465、470 和 475 的 生物 材料 的 压力 可 以 以 各 种 方式 控制 ,包括 通过 控制 与 管线 相关 联 的 
| 阀 412、422、462、467、472 和 477。 
[0088] ”图 5 是 用 于 实现 和 使 用 计算 机 视觉 和 机 器 学 习 工 具 来 提供 自动 反馈 控制 的 概括 流 
程 图 .在 510 处 ,控制 计算 机 视觉 系统 中 的 相机 以 记录 通过 打印 头 喷嘴 的 材料 的 视频 图 像 。 
这 些 图 像 是 通过 3D 生 物 打印 系统 的 各 种 操作 获得 的 ,例如 ,为 了 生成 用 于 机 器 学 习 模 型 的 
训练 集 的 数据 ,系统 可 以 用 已 知 的 材料 和 参数 来 操作 以 获得 已 知 的 结果 。 还 可 以 生成 用 于 
测试 和 评估 经 训练 的 系统 的 其 他 数据 集 
[0089] ”在 520 处 ,所 收集 的 数据 可 以 被 分 成 前 述 的 训练 集 和 测试 /评估 和 集 。 在 530 处 ,聚焦 
于 训练 集 , 可 以 标记 感 兴趣 的 特征 ， 0 期 间 聚 焦 于 那些 特征 ,在 540 处 ,可 以 将 适 
当 标 记 的 训练 集 应 用 于 深度 学 习 模 型 来 训练 深度 学 习 模 型 ,从 而 使 该 模型 进化 以 使 其 从 训 
练 数 据 中 产生 正确 的 结果 ,在 一 些 深度 学 Sn 以 使 用 结果 的 前 向 传播 ,在 其 他 模型 
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中 ,可 以 使 用 反 向 传播 。 
[0090] ”在 一 个 实施 方案 中 ,可 以 采用 例如 有 具有 UNET 网 络 染 构 的 卷 积 神经 网 络 (CNN) .已 知 
这 种 网 络 在 处 理 具有 定义 不 清 的 边界 的 非常 复杂 的 结构 的 图 像 时 (例如 ,在 医学 成 像 领 域 
中 ) 提供 有 利 的 结果 。 在 生物 打印 机 喷嘴 的 情况 下 ,相机 视觉 系统 通过 喷嘴 很 好 地 看 到 不 同 
生物 材料 的 能 力 可 能 会 受到 更 多 限制 .普通 技术 人 员 将 理解 ,可 以 采用 不 同 种 类 的 CNN 例 如 
长 短期 记忆 (LS 网 络 或 循环 CNN (RCNN) ,以 获得 良好 的 效果 。 在 一 个 实施 方案 中 ,递归 神 
经 网 络 (RNN) 可 以 单独 使 用 或 者 与 CNN 结 合 使 用 。 
[0091] 在 550 处 ,可 以 分 析 训 练 结 果 以 识别 各 种 感 兴 趣 的 特征 ,例如 , 疾 位 置 .纤维 尺寸 、 
纤维 忌 和 纤维 壳 的 同心 度 等 然后 可 以 根据 感 兴趣 的 特征 、 精 度 水 平等 对 结果 进行 分 类 。 在 
560 处 ,测试 /验证 集 可 用 于 评估 经 训练 的 网 络 的 性 能 。 在 570 处 ,如 果 模 型 令 人 满意 , 则 在 
580 处 ,可 以 部 团 完 成 的 经 训练 的 模型 ,如 果 模 型 不 令 人 满意 , 则 在 575 处 可 以 修改 训练 集 ， 
并 且 控 制 返 回 到 530 以 进行 进一步 训练 。 训 练 集 的 修改 将 通过 利用 先前 训练 集 获得 的 结果 
的 性 质 来 通知 。 

[0092] ”材料 流 : 

[0093] ”本 发 明 的 方面 包括 可 用 于 打印 纤维 结构 的 材料 流 , 以 便 有 利 地 用 作 生 物 材 料 。 本 
文 所 用 的 "生物 材料 "是 指 用 于 构建 或 奉 代 组 织 例如 具有 或 不 具有 活 细胞 的 人 体 组 织 的 天 
然 或 合成 物质 ,在 生物 打印 领域 ,术语 “生物 材料 "通常 与 术语 “生物 墨水 ” 同 义 。 
[0094] ”该 材料 流通 稼 包括 至 少 一 种 可 交 联 材料 ,例如 水 凝 胶 , 包 括 但 不 限于 深 酸 盐 、 壳 聚 
糖 \.PEGDA、PEGTA、 透 明 质 酸 (HA) .HAMA、 胶 原 蛋 白 `.Col1MA 明胶、. 甲 基 两 烽 酸 酯 化 明胶 
(gelMA) 、 球 脂 糖 、 结 冷 胶 、 纤 维 蛋 和 白 (纤维 重 白 原 ) PVA 等 或 它们 的 任何 组 合 , 以 及 非 水 凝 
胶 , 包 括 但 不 限于 PCL、PLGA、PLA 等 或 它们 的 任何 组 合 。 在 优选 实施 方案 中 ,材料 流 包 括 至 少 
种 水 凝 股 。 水 凝 胶 的 非 限制 性 示例 包括 党 酸 不、 琼脂 糖 、 上 胶原 蛋白 、 纤 维 蛋 白 原 、 明 胶 、 壳 
聚 糖 .基于 透明 质 酸 的 凝 胶 ,或 它们 的 任何 组 合 , 多 种 合成 水 凝 胶 是 已 知 的 并 且 可 以 用 于 本 
文 提 供 的 系统 和 方法 的 实施 方案 中 .例如 ,在 一 些 实施 方案 中 ,一 种 或 多 种 水 凝 胶 形 成 用 于 
打印 的 三 维 结构 的 结构 基础 的 至 少 一 部 分 。 在 一 些 实施 方案 中 ,水 凝 胶 具 有 文 持 一 种 
种 细胞 类 型 的 生长 和 /或 增殖 的 能 力 ,所 述 细 胞 类 型 可 以 分 散在 水 凝 胶 内 或 在 其 以 三 维 构 
造 打印 后 请 加 到 水 凝 胶 。 
[0095] ”在 实施 方案 中 ,水 凝 胶 可 通过 化 学 交 联 剂 交 联 。 例 如 ,包含 深 酸 盐 的 水 凝 胶 在 存在 
二 价 阳离子 诸如 氧化 钙 (CaC1,) 的 情况 下 可 以 是 可 交 联 的 ,包含 壳 聚 糖 的 水 凝 受 可 以 使 用 
诸如 三 聚 磷 酸 钠 (STP) 的 多 价 阴离子 进行 交 联 ,包含 纤维 蛋白 原 的 水 凝 胶 在 存在 凝血 酶 等 
兹 的 情况 下 可 以 是 可 交 联 的 ,并 且 包 含 胶原 、 明 胶 、 琼 脂 糖 或 壳 聚 糖 的 水 效 胶 在 存在 热 或 碱 
性 溶液 的 情况 下 可 以 是 可 交 联 的 。 
[0096] ”在 实施 方案 中 , 当 暴 露 于 可 与 输入 材料 混 溶 的 交 联 剂 材料 时 ,可 通过 经 由 来 自 输 
入 材料 的 溶剂 萃取 实现 的 沉 证 反应 来 生成 水 凝 胶 纤 维 。 经 由 沉 证 反应 形成 纤维 的 输入 材料 
的 非 限 制 性 示例 包括 胶原 蛋白 和 聚 乳 酸 (PLA) 。 能 够 形成 沉淀 介 导 的 水 凝 胶 纤 维 的 交 联 材 
料 的 非 限 制 性 示例 包括 聚 乙 二 醒 (PEG) 和 深 酸 盐 。 水 凝 胶 的 交 联 将 增加 水 凝 胶 的 硬度 ,从 而 
在 一 些 实施 方案 中 人 允许 形成 固化 的 水 凝 胶 。 
[0097] ”在 一 些 实施 方案 中 ,水 凝 胶 包括 演 酸 盐 。 当 与 二 价 阳 离子 接触 时 , 演 酸 盐 形 成 固化 
的 胶体 凝 胶 (高 含水 量 凝 胶 或 水 凝 胶 ) ,任何 合适 的 二 价 阳离子 可 以 用 于 与 包含 党 酸 盐 的 输 
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es 


>Cu2+>Ca2+>Ni2+>Co2+>Mn21 


发 直 凝 胺 (0uwerx,C. 等 人 ,Polymer Gels and 


Networks ,1998 ,6(5) : 0 位 


协同 结合 Ca2+ 离 子 形 


i 究 表 明 海 深 酸 钙 凝 胶 通 过 相 邻 聚合 物 链 上 的 聚 G 伦 段 


符合 ”模型 (TSP Alginates ,第 3 节 :Algin-Manufacture 


and Structure,in Alginates:Products for Scientific Water Pete 
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RR 产生 共 
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jj 关 再 
H 肥 


化 水 凝 胶 , 诸 如 透 


= Sa 
可 上 峰 汗 鄞 
N= 
~ 


x 


子 ozRK 


( 乙 二 醇 ) 天 烯 酸 栈 


Ems 聚 乙 二 本 Ts 


希 酸 0 


成 热 
性 的 凝 


价 


圣 胶 前 体 暴 露 于 自 
剂 的 N， 


基 内 


希 酸 梧 (GEL-MA) 或 基于 


上 (HAMA) 、 明 胶 
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迅速 发 生 , 所 需 能 量 
[0099] ”在 实施 方 和 


t 高 .具有 弹性 并 且 可 定制 
包括 不 可 生物 噬 角 的 全 物 -在 示人 


成 聚合 物 ,例如 
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内 的 不 相 深 颗粒 ， 
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区 立方 形 等 ) ,但 


[0101] ”附加 的 组 分 
[0102] 委 提 本 发 明 的 实施 方 案 的 材料 


,金属 或 其 他 无 机 材料 组 成 
这 不 是 必需 的 . 纵 杠 比 为 2:1 或 更 大 的 全 粒 可 被; 


,输入 材料 可 以 是 合 
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Martinez 等 人 证 明珠 状 纤维 素 支 架 内 的 500nm 通 道 可 以 引导 胶原 和 蛋白 和 细胞 排列 
(Martinez 等 人 ,2012 年 ) ,通过 调 市 纤维 直径 ,可 以 控制 纤维 结构 内 的 胶原 纤维 的 定向 。 因 
此 ,纤维 结构 和 纤维 结构 内 的 胶原 纤维 可 以 被 图 案 化 ,以 产生 具有 所 需 胶 原 纤 维 排列 的 组 
织 构 造 , 这 对 于 赋予 3D 打 印 结构 上 所 需 的 生物 力学 特性 至 关 重要 。 
[0105] ”细胞 群 : 
[0106] ”在 实施 方案 中 ,细胞 群 选 目 包括 单 细胞 基 液 、 细 胞 
或 它们 的 组 合 的 组 ,或 者 由 其 组 成 的 组 。 根 据 本 发 明 的 实施 
甫 乳 动物 细胞 类 型 ,包括 但 不 限于 干细胞 (例如 ,胚胎 二 
胞 ) 、 生 殖 细 胞 、 内 胚层 细胞 (例如 , 肺 细胞 、 肝 细胞 、 胰 腺 细胞 、 骨 上 肠 道 细 胞 或 泌尿 生殖 道 
胞 ) .中 胚层 细胞 (例如 ,肾脏 细胞 、 肖 细胞 、 肌 细胞 内皮 细胞 或 心脏 细胞 ) 和 外 豚 层 细胞 ( 皮 
肤 细 胞 、 神 经 系统 细胞 .垂体 细胞 或 眼 细胞 ) \ 干 细胞 来 源 的 细胞 或 它们 的 任何 组 合 。 

内 委 


集体、 细胞 球体 、 细 胞 类 器 家 
案 的 流动 材料 可 并 入 有 任何 
.成 体 干 细胞 .诱导 多 能 二 


画 过 褒 


et 


[0107] ”例如 ,流动 材料 可 包含 来 自 内 分 泌 腺 和 外 分 泌 腺 的 细胞 ,包括 胰腺 (a、B、5、e、y)、 
肝脏 (时 细 胞 .Kuppfer 细 胞 、 星 状 细胞 、 窦 内 皮 细胞 胆管 细胞 ) 甲状腺 ( 滤 泡 细胞 )、 松 果 体 
腺 ( 松 果 体 细胞 ) ,垂体 腺 ( 促 生 长 激素 细胞 、 乳 促 素 细胞 、 促 性 腺 激素 细胞 、 促 凤 上 逐 皮 质 省 
素 细胞 和 促 甲 状 腺 激素 细胞 ) ,胸腺 (胸腺 细胞 、 胸 腺 上 皮 细胞 、 胸 腺 基质 细胞 ) ,肾上腺 ( 皮 
质 细胞 、 哺 铭 细 胞 ) 、 卵 集 颌 粒 性 细胞 ) 、 兴 丸 ( 间 质 细胞 ) 、 胃 肠 道 ( 肠 内 分 泌 细 胞 - 肠 、 骨 、 胰 
腺 ) .成 纤维 细胞 .软骨 细胞 ,半月 板 纤维 软骨 细胞 骨髓 基质 ( 干 ) 细胞 、 且 胎 干细胞 、 间 充 质 
干细胞 、 诱 导 多 能 干细胞 ,分 化 干细胞 .组织 来 源 的 细胞 平滑 肌 细胞 ,骨骼 肌 细胞 心肌 
i | 


胞 、 内 及 细胞 、 成 肌 细 胞 成 软骨 细 朋 胞 以 及 它们 的 任何 组 合 。 
[0108] ”细胞 可 从 与 受 体 相同 的 物种 ( 同 种 异体 ) 、 从 与 受 体 不 同 的 物种 (异种 ) 或 从 受 体 
(自体 ) 的 供 体 获 得 .具体 地 ,在 实施 方案 中 ,细胞 可 从 合适 的 供 体 诸 如 人 或 动物 获得 ,或 从 
将 要 植 入 细胞 的 受 试 者 获得 .哺乳 动物 物种 包括 但 不 限于 人 、` 猴 , 狗 、. 牛 . 马 ` 猪 `. 绢 羊 `. 山 羊 、 
猫 、 小 也、 免 和 大 岂 ,在 一 个 实施 方案 中 ,细胞 是 人 细胞 ,在 其 他 实施 方案 中 ,细胞 可 以 是 异 
种 细胞 ,例如 来 源 于 动物 诸如 狗 、 猫 、 蕊 、 猴 或 任何 其 他 哺乳 动物 。 
[0109] ”在 一 些 实施 方案 中 ,至少 一 种 生物 体 材料 包括 表达 /分 泌 一 种 或 多 种 内 源 性 生物 
活性 剂 〈\ 例 如 胰岛 素 、 胰 高 血糖 素 、 饥 俄 素 `. 胰 多 肽 .因子 VII、` 因 子 YIII` 因 子 IX\o-1 抗 胰 蛋 
魏 酶 .血管 生成 因子 、 生 长 因子 、 激 素 、 抗 体 、 酶 蛋白质、 外 来 体 等 ) 的 细胞 群 . 本 文 讨 论 的 内 
源 性 生物 活性 剂 包括 细胞 在 生物 环境 中 天 然 产 生 的 那些 剂 (例如 ,响应 于 升 高 的 葡萄 糖 浓 
度 的 胰岛 素 释 放 ) 。 内 产 性 生物 活性 剂 可 构成 本 公开 的 上 下 文中 的 治疗 剂 。 
[0110] ”在 一 些 实施 方案 中 ,流动 材料 可 包含 分 沙特 定 因子 的 基因 工程 化 细胞 .如 上 所 讨 
论 的 细胞 群 在 实施 方案 中 可 包含 分 刻 特 定 因子 的 工程 化 细胞 (例如 基因 工程 化 细胞 ) ,这 在 
本 公开 的 范围 内 。 细 胞 还 可 以 来 自己 建立 的 细胞 培养 系 ,或 者 可 以 是 经 过 基因 工程 和 /或 操 
纵 以 实现 所 需 基因 型 或 表 型 的 细胞 ,在 一 些 实施 方案 中 ,也 可 以 使 用 组 织 片 ,所 述 组 织 片 可 
以 在 相同 结构 内 提供 多 种 不 同 的 细胞 类 型 。 
[0111] ”适用 于 本 公开 的 基因 工程 技术 可 包括 但 不 限于 :重组 DNA (rDNA) 技术 (Stryjewska 
等 人 ,Pharmacologial Reports.2013;65:1075) ;基于 使 用 靶 向 核酸 酶 (例如 大 范围 核酸 
哗 、 鲜 指 核酸 酶 (ZFN) 、 转 录 激 活 因 子 样 效应 物 核 酸 酶 (TALEN) 、 成 秘 规 则 间隔 的 短 回 文 重复 
序列 相关 核酸 酶 Cas9 (CRISPR-Cas9) 等 的 细胞 工程 (Lim 等 人 ,Nature 
Communications.2020;11:4043;Stoddard BL,Structure.2011;19(1) :7-15;Gaj 等 人 ， 
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Trends Biotechnol.2013;31(7) :397-405;Hsu 等 人 ,Cell.2014;157 (6) :1262;Miller 等 
人 ,Nat Biotechnol.2010;29(2) :143-148) ; 基于 使 用 重组 酶 系统 (例如 ,Cre-Lox) 的 位 点 
特异 性 重组 的 细胞 工程 (0sborn 等 人 ,Mol Ther.2013;21(6) :1151-1159;Hockemeyer 等 人 ， 
Nat Biotechnol.2009;27(9) :851-857;Uhde-Stone 等 人 ,RNA.2014;20(6) :948-955;Ho 等 
人 ,Nucleic Acids Res.2015;43 (3) :el7;Sengupta 等 人 ,Journal of Biological 
Engineering.2017;11 (45) :1-9) 等 。 在 一 些 实施 方案 中 ,可 使 用 上 述 用 于 细胞 工程 的 技术 
的 一 些 组 合 。 
[0112] ”本 公开 涵盖 能 够 产生 一 种 或 多 种 治疗 剂 的 工程 化 细胞 ,该 一 种 或 多 种 治疗 剂 包括 
但 不 限于 蛋白 质 、. 肽 .核酸 (例如 ,DNA、RNA、mRNA、siRNA、miRNA、 核 酸 类 似 物 ) 、 肽 核酸 、 适 体 、 
抗体 或 其 片段 或 部 分 、 抗 原 或 表 位 、 激 素 、 激 素 持 抗 剂 . 生 长 因子 或 重组 生长 因子 及 其 片段 
和 变 体 、 细 胞 因子 、 酶 .抗生素 或 抗 微 生物 化 合 物 、 抗 炎 剂 . 抗 真 凋 剂 、 抗 病毒 剂 、 毒 素 、 前 药 、 
小 分 子 、 药 物 (例如 , 药物 染料、 氨基酸、 维生素 、 抗 氧化 剂 ) 或 它们 的 任何 组 合 。 
[0113] ”实施 例 
[0114] ”在 下 面 的 示例 中 ,用 于 对 和 象 检 测 和 语义 分 割 两 者 的 卷 积 神经 网 络 被 训练 以 在 凝 胶 
化 和 拭 出 过 程 期 间 监 测 和 分 析 打 印 头 和 生物 材料 的 不 同 特性 。 使 用 Aspect Biosystems 
RX1 "生物 打印 平台 进行 若干 项 案例 研究 。 该 示例 展示 了 在 操作 期 间 使 用 计算 机 视觉 进行 检 
测 和 阀 定位 以 及 状态 检测 、 微 通道 内 异常 和 气泡 的 分 割 ,以 及 单一 材料 纤维 特性 的 分 析 以 
及 更 复杂 的 同 轴 分 层 水 凝 胶 纤 维 的 分 析 。 
[0115] ”为 了 帮助 分 制 和 识别 通过 微 流体 打印 尖 的 生物 材料 的 流动 ,食品 染料 用 于 以 下 委 
份 研究 示 从 的 目的 ,并 且 被 添加 到 生物 打印 机 中 的 生物 油墨 ,以 使 得 能 够 视觉 诽 别 材料 边 
界 . 为 了 促进 采用 细胞 和 生物 材料 的 生物 打印 和 微 流 体 实 验 , 还 开发 了 一 种 在 环境 照明 条 
件 下 可 见 的 细胞 友好 型 生物 油墨 材料 。 这 种 材料 随后 被 用 于 对 包含 实际 细胞 的 生物 油 垒 执 
行 打印 实验 。 
[0116] ”在 另外 的 实施 方案 中 ,即使 当 材 料 是 透明 的 时 ,也 可 以 分 制 和 识别 材料 流 。 当 通过 
交 联 在 打印 头 中 形成 纤维 时 ,由 于 与 周围 材料 的 折射 率 不 同 , 其 边缘 变 得 更 加 可 区 分 。 在 从 
喷嘴 的 相对 的 一 侧 直接 沿 直线 并 朝向 相机 照射 光源 时 ,对 纤维 的 边缘 进行 成 像 . 可 区 分 的 
边缘 是 可 用 于 训练 机 器 学 习 算法 通过 分 割 来 识别 纤维 的 斥 寸 的 相关 特征 。 
[0117] ”从 这 些 示例 和 伴随 的 讨论 中 ,可 以 理解 计算 机 视觉 和 深度 学 习 在 精确 地 监测 3D 生 
物 打印 机 中 微 流 体 打印 尖 的 性 能 和 操作 方面 的 益处 ,具体 地 ,应 当 理解 ,与 3D 生 物 打 印 机 一 
起 采用 的 计算 机 视觉 系统 实现 了 精确 的 反馈 和 非 接 触 式 感 测 , 从 而 使 团 环 控制 的 未 来 机 会 
能 够 实现 性 能 优化 ,否则 这 将 是 不 可 能 的 。 
[0118] ”为 了 准备 案例 研究 ,进行 初步 工作 以 识别 和 训练 神经 网 络 以 用 于 案例 研究 中 的 可 
能 
[L0119] ”在 基于 微 流 体 的 3D 生 物 打印 的 背景 下 ,在 一 个 实施 方案 中 , 疾 可 用 于 控制 由 不 同 
生物 材料 或 细胞 组 成 的 流体 在 微 流 体 打 印 关 的 微 通道 内 的 流动 .这 人 允许 单独 或 组 合 使 用 不 
同 的 流体 ,以 从 单个 微 流 体 装置 生成 复杂 的 纤维 和 组 织 结 构 。 当 阀 被 气动 加 压 时 ,通过 微 通 
道 的 所 有 流动 都 受到 限制 .这 对 应 于 闭合 状态 。 当 阀 被 气动 放松 时 ,所 有 流动 都 被 人 多 许 通过 
微 通道 ,这 对 应 于 打开 状态 ,在 一 个 实施 方案 中 , 阀 可 以 被 配置 为 使 得 当 其 被 气动 放松 时 ， 
阀 闭合 ,并 且 当 被 气动 加 压 时 , 阀 打 开 。 
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说 明 书 


于 微 流 他 


| 


EF 污 


透明 材料 4 


du 


Ed ` 浮 
县 二 


A 


捉 成 , 当 它们 打 玫 


F 和 闭合 时 ,1 
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于 壁 的 脱 胀 , 阀 的 


Na 


喇 


的 变化 


于 这 不 


JUDANO 


可 见 的 变化 , 计 


O 


从 


检 尖 


网 络 不 仅 可 以 


A 


j 于 分 类 不 局 


国 | 


了 计 


不 出 
大 一 
每 个 


得 的 


算 
操 1f 
对 于 实时 检测 


FE 状 态 。 出 于 以 示例 的 


1 视觉 和 深度 学 习 系 统 的 实施 方案 的 评估 
目的 ,选择 了 已 


机 视觉 可 以 通过 在 操作 


FF 期间 监测 疼 的 物 


j 的 对 象 ,还 可 以 在 更 大 的 图 


十 日 
口 卫 | 


二 | 


里 


象 中 定位 它们 。 
,以 检测 和 监测 微 流 体 


经 天 


立 的 卷 积 


申 经 网 络 。 


推理 


9 


度 很 重要 。 因 此 ,H 


于 以 下 示例 的 


日 


的 , 单 帧 检测 器 (SSD) 是 


T 


钢 单 帧 检测 右 网 络 时 , 特 和 和 


中 "| 
中 


f 征 提取 融通 首 归 结 


提取 颖 可 以 根据 应 
为 评估 不 同 网 络 的 性 


使 


A 
2 


™ 


9 竺 
卷 积 神经 网 络 完成 阅 定 位 和 


时 使 用 内 轩 


FE 成 | 


于 


下 
练 十 的 数据 
日 


集 ,视频 以 480p 录 


] 和 需要 检测 的 对 象 
FE 能 。 


状态 检测 ,Aspect Biosystems DUOM 微 - 
相机 在 Aspect Biosystems RX1" 生 物 打印 机 上 采 


央 ,并 且 提 


取 巾 进行 


标记 。 基 于 阀 的 


] 合 的 ,对 它们 分 另 


| 进行 标记 .在 图 6A 不 


HH 


疝 的 打开 
运行 估计 
[0124] 
据 增 绰 
检测 
验证 数 
[0125] 


IHU 


ResNet50 进 行 训 练 ,以 确 吕 
(C0C0) 数 和 


熏 .AN 国 


朱 一 思 蛙 


象 的 示例 


.图 6A 示 晤 
状态 或 


| 


闭合 


中 闪 周 围 的 边界 
犬 态 ,图 6C 和 图 6D 分 别 示 ! 


,在 该 示 仿 


过 


,图像 
25 


有 约 


人 


中 ,| 阀 1 打 玫 
过 引入 随机 对 
昌 。 将 所 得 


网 络 。 具 


匡 。 图 6B 示 
1 了 在 打印 会 训 


Ff 大约 三 秒 钟 以 生 


成 纤维 


[e] 


了 相同 
6 期 
阀 2 保持 闭 


的 边界 框 , 进 一 步 
司 疾 忒 


图 6B 中 可 以 看 到 标记 图 
标识 了 


操作 状态 的 


看 全 


中略 2 的 


人 


比 度 、 亮 度 和 反射 来 增加 


分 成 两 个 数据 集 。 具 


人 


三 | 


j 于 训练 的 
有 约 1500 张 图 像 的 


全 


训 


象 的 


大 小 和 和 
练 数 


类 来 进行 数 
j 于 训练 对 象 


mp 


已 


0 张 图 像 的 第 二 训练 外 


和 人 


对 三 个 


! 帧 检测 


器 (SSD) 刘 
合 部 署 的 


E 最 适 


于 


十 


eA 


傈 上 预 4 


可 以 从 等 式 1) 和 等 式 (2) 


训练 的 参数 权重 被 用 1 


a 
加 区 


中 看 


于 在 部 绪 之 前 评估 经 训练 的 网 络 的 怕 


帮助 训练 ， 
点 。 训 练 


损失 函数 | 


十 


能 的 


上 月 已 


申 经 网 络 SSD-MobilenetV2、SSD- InceptionV2 和 SSD- 
申 经 网 络 。 为 了 
E 初 始 训练 ， 


用 


Ee 下 


中 的 公共 对 象 


两 个 分 量 组 成 。 


一 外 


是 Smooth Ll 定位 损失 ,以 量化 预测 边界 框 和 地 面 实况 边界 框 之 间 的 定位 误差 ,这 


[0126] Li ,=smooth, .0 (1) 

[0127] smooth,, (x) 二 x ,||x| 二 1|x|, 否 则 ”2) 

[0128] 。 在 这 些 等 式 中 ,x 对 应 于 特定 对 象 的 地 面 实况 边界 框 的 最 小 /最 大 坐标 ,并 且 x 对 
应 于 来 自 SSD 网 络 的 预测 边界 框 的 最 小 /最 大 坐标 。 

[0129] ”第 二 分 量 是 加 权 焦 点 损失 ,以 量化 关于 对 应 于 所 提出 的 边界 框 的 类 预测 的 误差 。 
加 权 焦 点 损失 的 等 式 可 在 等 式 (3) 中 看 出 : 

[0130] Ly=-a, (1-p) "log(p) (3) 

[0131] ”在 等 式 (3) 中 ,p, 对 应 于 正确 类 的 SSD 网 络 输出 。y 用 于 控制 调制 因子 (1-p,) oa 是 
由 用 户 定义 以 强调 对 特定 类 的 检测 的 类 加 权 标 度 . 对 于 训练 , y 被 设置 为 2 ,并且 o, 对 于 正 
类 ( 即 打 开 和 闭合 的 阀 状 态 ) 被 设置 为 0.75 ,并 且 对 于 负 类 ( 即 背 景 类 预测 ) 被 设置 为 0.25。 
利用 定位 损失 函数 和 分 类 损失 函数 两 者 的 最 终 损失 可 以 在 等 式 (4) 中 看 出 。 

[0132]  L=Li,+tLy (9 

[0133] ”网 络 训练 是 使 用 Adam 优 化 器 完成 的 ,如 Kingma,Diederik&Ba,Jimmy.Adam:Method 


for Stochastic Optimization,lnternational Conference on Learning 
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Representations (2014) 中 摘 述 的 ,该 文献 通过 引用 并 入 本 文 。 通 过 确定 所 有 三 个 上 述 神经 
网 络 的 分 类 和 定位 精度 ,利用 验证 数据 集 来 评估 所 有 三 个 上 述 神经 网 络 。 使 用 等 式 (5) 确定 
分 类 精度 : 
i TP+TN 

[0134] 精度 -Fp 二 TN 十 FPFEN 5) 
[0135] ”精度 基于 每 个 类 的 真 阳性 (TP) ` 真 阴性 (TN) 、 假 阳性 (FP) 和 假 阴性 (FN) 。 通 过 计算 
正确 预测 的 交 并 比 (IoU) 分 数 来 确定 定位 精度 。IoU 被 定义 为 预测 的 边界 框 x) 和 地 面 实况 
框 (x) 的 交集 的 面积 除 以 它们 的 并 集 的 面积 ,如 等 式 (6) 所 示 : 

加 面积 (zx N 二 
[0136] IoU > a (0) 
[0137] “用 于 训练 的 损失 是 像素 级 别 的 交叉 业 损 失 函 数 。 为 了 计算 损失 ,来 自 UNET 网 络 的 
最 终 激活 值 被 转换 成 对 应 于 每 个 类 的 概率 分 数 。 这 是 使 用 softmax 函 数 完成 的 ,该 国 数 可 以 
在 用 于 识别 K 类 的 网 络 的 等 式 (7) 中 看 出 。 

PE 

[0138] ”SGCe) = Ee (7) 
[0139] ”在 等 式 (7) 中 ,p, 是 针对 图 像 中 特定 像素 的 t" 类 的 激活 值 .Softmax 函 数 用 于 处 理 
来 目 每 个 像素 的 UNET 网 络 的 激活 值 。 


[0140] “分 类 交叉 精 的 计算 如 等 式 (8) 中 所 示 。 
[0141] Ls=-a, Elog(S(p)) 人 ) 
[0142] ”在 等 式 (8) 中 ,p, 是 特定 像素 的 真实 类 的 激活 值 . 不 考虑 其 他 类 的 激活 值 。o, 是 用 于 
重新 调整 损失 以 惩罚 对 某 些 类 的 错误 分 类 的 类 权重 .用 于 训练 的 权重 对 于 背景 .纤维 和 和 气 
泡 分 别 为 1.1.235 和 1.35。 交 叉 精 损失 用 于 量化 组 成 图 像 的 所 有 像素 的 真实 类 和 预测 类 之 
间 的 误差 。 上 面 提 到 的 Adam 优 化 器 用 于 训练 网 络 并 最 小 化 损失 函数 。 
[0143] ”通过 计算 所 有 类 的 平均 IoU 和 平均 F1 分 数 两 者 ,利用 验证 数据 集 对 训练 的 UNET 网 
络 进行 评 佑 。IoU 分 数 是 经 由 等 式 (5) 计算 的 ,并 有 HF1 分 数 是 经 由 等 式 (9) 计算 的 。 

_ , (准确 率 x 召 回 率 ) 
[0144] Fl=2x 了 下 (9) 
on 加 竺 式 00) 和 等 式 {1D 中 所 示 , 计 算 生 个 类 的 淮 确 下 和 本 让。 
[0146] “准确 率 = Fp (10) 
[0147] 召回 率 = (11) 
[0148] ”所 有 三 个 网 络 都 利用 同一 个 数据 集 进 行 训练 ,然后 利用 验证 数据 集 进行 检查 ,以 
评估 其 性 能 并 确定 最 适合 部 装 的 网 络 。 
[0149] ”在 图 7A 和 图 7B 中 可 以 看 到 训练 结果 、 两 种 闹 状 态 的 分 类 精度 以 及 正确 分 类 的 平均 
IoU 分 数 。 如 果 IoU 分 数 为 0.5 或 更 高 , 则 认为 分 类 正确 ,在 所 有 三 个 网 络 中 ,定位 和 打开 阀 分 
类 精度 非常 相似 。 然 而 ,SSD-ResNet50 在 对 闭合 的 阀 状 态 进 行 分 类 时 具有 最 住 精度 。SSD- 
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人 


七 损失 函数 ,如 训练 


果 , 确 定 SSD-ResNet50 网 络 在 二 不 


上 


网 络 


a 


1 线 所 示 。 因 此 , 基 


HH 


中 具 


最 佳 性 能 。 这 里 可 能 有 


T 


7 


j 的 CNN 的 其 他 非 了 


L、ResUNet+++TTA、UNETR、SwinUnet .Unet++\DC 


[0150] 


实施 例 1- 单 一 材料 纤维 


[0151] 
统 。 

[0152] 
流体 打印 头 
分 析 和 腊 和 党 
考 图 


J 中 
泡 , 则 它们 


放大 视图 。 图 8C 描 绘 了 通 


对 于 该 示例 , 采 


为 了 进行 单一 材 
中 生物 材料 下 
检测 的 数 ， 


6A 至 图 6D 所 i 


被 标记 。 其 余 的 像 吕 


j 了 利 


料 纤 光 


jAspect Biosystems DUO 


E 分 析 以 及 异常 检测 


气泡 


-UNET 和 KiU-Net。 


“ 微 流 体 打 


包括 ImageNet、COCO、Cityscapes、PASCAL V0OC 和 ADE20K ,以 及 MSRF-Net、UACANet - 


印 头 的 3D 生 物 打印 系 


, 利 


j 语 义 分 割 网 


络 来 定位 操 


年 期 间 微 


4 


的 流动 。 


人 


a 


十 


三 


是 使 


] 针 对 网 ) 


] 于 该 案例 


人 研究 的 


大 态 检 测 捕 


分 负 网 络 是 UNET 网 络 。 
区 的 相同 视频 和 图 


象 创建 的 ,如 上 文 参 


。 然 而 , 帮 


情况 


这 有 


,如 果 像 素 对 


应 于 打印 头 内 的 特定 生物 材料 或 气 


被 标记 为 


中 的 生物 材料 810 或 气泡 820。 图 8B 示 出 了 


已 
月 


景 。| 


色 8A 示 出 了 标记 图 


图 8A 的 | 


边界 框 835 表 示 的 


[0153] 


为 进行 


4 


所 提出 的 
挤 出 纤维 

[0154] 使 
个 图 像 的 j 
[0155] 
中 提 
了 打 


一 


三 


界 框 


[0156] 


| 于 纤维 


过 估计 挤 
上 述 关 于 图 6A 至 图 
分 析 和 有 异常 检测 
直径 的 运行 估计 和 打印 


We 


出 好 给 


I 


J 


6D 的 


四 


的 边缘 的 位 置 来 计算 纤维 
仿 测 和 状态 监测 而 收 


象 的 示例 , 刁 
打印 头 撞 出 
直径 的 


< 出 了 微 通道 
区 域 830 的 


公 


的 计算 机 视觉 系统 的 性 


E ,VA30FP 


月 


集 的 相同 视频 被 


As 


于 检查 
5S 处 理 视频 ,并 且 记 录 


的 微 ; 


四 衣 


| 名 


ba 


] 


天 


2 


随 丰 


4 


图 8D 示 出 了 
共生 物 材 


十 


反射、 亮度 
集 和 验证 


料 ， 


力 


期 间 捕 获 的 
物 材料 850 ,存在 挤 
中 的 撞 } 


] 


[0157] 


使 


区 


过 估计 挤 出 


维 边缘 之 | 
的 增 
[0158] 
纤维 
打印 会 


话 之 


的 平均 
益 将 估计 值 从 像素 转换 为 入 
辣 , 生 物 材料 纤 
直径 约 为 4 个 像素 .为 了 评估 

> 后 在 显微镜 下 测量 打印 纤维 。 


在 打印 期 


下 


域 中 


的 分 割 


两 个 | 


对 
数据 和 


| 


十 


比 度 拉 


则 


个 帧 的 分 制 。 
区 域 860 ,其 
区 域 860 的 放大 视图 。 

图 8F 示 出 了 系统 操作 期 间 挤 } 
制 生物 材料 流动 的 阀 打 天 
] 生 物 材料 分 制 
的 生 


F 时 大 约 


,在 该 特定 示例 中 , 仪 打 开 一 个 
一 个 赂 保持 闭合 , 因 


为 该 内 


中 任何 气泡 或 异常 的 检 闹 
4 强 图 像 。 产 生 的 增 


强 
中 
全 


j 
的 对 应 的 微 通 道 


该 帧 刁 


中 围绕 挤 出 


an 


与 图 6A 和 图 6B 


中 


区 域 


图 像 被 分 


网 以 从 与 该 
首 中 的 材料 没有 
相同 的 结构 .图 8D 示 出 了 和 


1 ,用 于 分 析 和 评估 。 
成 分 别 约 900 和 150 


位相 关联 的 微 通道 
] ,图 8D 不 


Ep 


绘制 了 边界 机 


] 


纤维 


直径 的 


E865 .图 8E 示 出 了 图 8D 的 边 


结 末 ,监测 下 


管 纤 乡 、 


距离 计 


于- 大 


VAL 


三 秒 时 间 段 期 | 


| 


行 估计 。 对 应 于 图 6C, 图 8F 示 出 了 当 


lI 
J 


的 纤维 直径 。 


0 确定 挤 出 
物 材 料 的 边缘 边界 来 完 


纤维 的 几何 特性 ， 


包括 直径 。 该 ; 


成 的 。 一 旦 确 


后 


后 ,基于 相机 相对 于 打印 头 的 位 置 , 使 


被 挤 压 大 约 三 秒 包 


,使 用 挤 出 


上 


L 


估计 直径 进行 


人 


3 


] 于 纤维 


思 


析 


这 分 雪 界定 二 全 


又 域 


果 , 估 计 


的 计算 机 视觉 系 统 的 精 


每 次 


将 


MY 


度 估 计 纤维 


[0159] 拼 


] 


纤 乡 


4 


的 直径 是 直 


十 


测量 的 纤维 


监测 ,纤维 


直径 的 不 稳定 


吕 
口 


之 间 的 变 


[0160] 


七 。 使 
范围 从 23ms 至 28ms 
除了 微 流 


ya 


E 和 和 漂 
] 本 发 明 的 计算 本 
,从 而 实现 了 实时 分 析 所 时 
体 打印 头 


移 


接 影 响 打 印 组 
导致 打 印 质量 差 、 


的 最 终 质量 的 关键 


直径 与 来 自 i 


生性 ， 


1 视觉 系统 的 


并 且 因 此 需要 仔 允 


结 末 不 可 预 


视觉 系统 的 实施 方 呈 


测 和 不 期 


望 的 样 


的 天 | 


了 


高 的 那 丰 


高 帧 率 。 


中 生物 材料 的 存在 不 
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1 
4 


中 异物 或 异 


T 姜 


中 的 通辽 


在 挤 出 期 


某 些 情 


Ci 


月 


图 。 
[0161] 


间 二 
况 下 ,气泡 可 以 忆 
材料 870 并 因此 


制 


了 在 也 可 影 01 


流体 流动 。] 


门 打印 结构 的 最 终 质 量 。 细 jj 掏 材 料 的 结 块 可 堵塞 打 
于 生物 材料 和 细胞 中 溶解 的 气体 而 产生 的 气泡 也 可 
首 中 .然而 ,在 


况 下 ,这 些 气 泡 倾 向 于 保持 在 非 活动 通道 


和 


k ,在 许多 情 


中 成 核 并 与 生物 刘 释 混合 .图 86 示 出 了 气泡 875 干 扰 生 物 


当 这 下 


F 扰 纤维 


气泡 


活动 通道 


生成 


F 扰 发 生 时 ,打印 


的 示例 ,图 8H 是 图 86 中 的 气泡 聚集 (concentration) 的 放大 视 


的 组 织 


质量 


产生 负 天 


一 \ 
纤 


靠 性 ,图 8I 示 H 


HH 了 霹 


| 影响。 在 大 多 数 情况 
E, 因为 气泡 移动 迅速 ,并 且 在 作 
够 快速 识别 和 定位 实时 相机 人 馈送 


的 生物 材料 的 一 致 性 可 受到 显 车 影响 ,从 而 
,肉眼 不 可 能 识别 气泡 何 时 成 核 并 影响 生成 的 
可 情况 下 都 难以 在 视觉 上 区 分 。 然 而 ,分 割 网 络 使 得 能 
中 的 气泡 ,从 而 使 得 能 够 进行 质量 控制 以 便 改 进 操作 和 


0 


罕 物 干扰 纤维 


生成 的 附加 示例 性 背光 可 见 光 ( 左 ) 和 对 应 的 彩 


( 掩 模 , 右 ) 图 像 . 图 8J 示 出 了 


寻 能 4 
气泡 干扰 纤维 生成 的 附加 示例 性 背光 可 见 光 ( 左 ) 和 对 应 的 


或 多 个 相机 


类 型 的 打印 ! 


色 禾 盖 ( 掩 模 , 右 ) 图 像 。 在 实施 方 


~ 


< 


人 


中 ,如 图 8I 和 图 8J 所 例 示 的 ,响应 于 如 本 文 描述 的 一 


历 提 供 的 图 像 , 本 文公 开 的 基于 机 顺 学 习 的 系统 可 以 识别 # 
块 陷 或 打印 故 


[0162] 


图 9A 示 出 
数据 集 的 IoU 和 Fl 分数, 描绘 
于 所 有 图 像 


局 
有 CE ol 


了 训练 


意 。 


损失 随时 


证 全 


窒 物 、 气 泡 丰 


由 的 减少 .图 9B 示 出 了 比较 所 使 用 的 训练 数据 集 入 


超过 98% 的 分 数 ,并 且 指 示 经 训练 的 网 络 的 令 人 满意 


中 的 大 量 背 景 


象 素 ,因此 在 训练 期 | 


[0163] 


实施 例 2- 同 | 第 


分 层 水 凝 胶 纤维 


[0164] 
胞 不 
和 功 生 
[0165] 


已 
已 o 


纤维 ) 的 3D4 


同村 


AN 


纪 ] 


层 纤维 


刀 


生长 因子 的 不 同 


对 于 该 示 全 
Aspect Biosystems CENTRA” 


集成 的 可 灌注 


[0166] 


在 该 示例 


FE 物 打 印 系 统 和 9 
管 结 构 的 组 


又 域 组 


可 以 是 复 
成 ,对 结构 几何 


,如 在 先前 案例 研究 


成 的 更 复杂 的 | 


纪 ] 


7 \ 


杂 生物 


的 一 部 分 ,并 且 可 以 由 包含 不 同 生物 材料 、 
y 状 有 严格 要 求 以 确保 可 接受 的 最 终 组 织 质量 


-人 


i 
AAA 


中 使 
体 打印 头 (其 使 


j 的 UNET 网 络 也 用 于 分 制 和 分 析 | 

得 能 够 形成 同 轴 分 层 纤 维 或 中 空 可 灌注 
可 轴 分 层 纤 维 的 几何 特性 。 此 类 纤维 能 够 使 具 在 
3D 图 案 化 ,并 且 还 实现 芯 纤 维 细 胞 与 外 部 ] 


Cn 


2 
做 流 


中 ,打印 


不 境 的 设计 分 离 。 
色 染 料 染色 的 同 轴 分 层 纤维 蛋白 原 溶液 


j 红 


和 


EE 条 ,并 且 在 15Hz 下 分 
至 16ms 。1 广 不 


析 所 得 挤 出 


纤维 


.计算 机 视觉 系统 的 端 到 端 延 迟 范 围 从 14ms 


[0167] 
提供 挤 虽 


通 


过 同 
纤维 


推理 加 速 库 (诸如 Nvidia 的 TensorRT 库 ) 以 及 专门 
Nvidia Jetson Xavier 系 统 所 例 示 的 ) 实现 的 。 
寸 处 理 


喷嘴 


网 


导致 多 个 打印 样 


吕 


的 恨 好 可 


之 | 


[0168] 为 
的 直径 和 层 
终 组 织 


了 实现 期 望 
度 以 及 心 在 这 


豆 
子 - 


现 了 开发 闭 
[0169] 


在 1 


均 示 例 


到 3D 打 印 平 台 
质量 的 人 
环 控制 


三 


iD 


者 的 
视 化 , 横 截面 轮廓 
站 的 差 的 结构 保 真 
3 的 生物 
大 


至 低 延 迟 是 通过 使 
学 习 的 GPU 加 速 便 件 (如 


诗 


/> 


] 于 深 


Ek 


E 交 投影 ,有 可 能 生成 生物 打印 纤维 的 横 截 面 轮廓 ,以 实时 
于 定性 分 析 纤 维 的 轴 向 对 称 性 ,以 及 识别 可 能 
度 和 不 均匀 性 的 任何 潜在 的 失效 或 未 对 准 。 

功能 ,例如 在 打印 同 轴 分 层 生 物 材 料 时 的 受 控 浇注 ,这 和 心 
的 同心 度 至 关 重 要 。 根 据 实施 方案 所 述 的 计算 机 视觉 系统 可 


诗 


中 


F 何 未 对 准 和 故障 。 此 外 ,计算 本 
强 的 机 会 


加 


2 

| 于 实时 分 析 挤 由 纤维 的 各 种 几何 特性 ,以 检测 可 能 影响 最 
| 视觉 系统 实现 了 非 接触 式 反馈, 并且 再 次 实 

则 这 是 不 可 能 实现 的 。 


未 


中 ,在 纤维 


成 和 挤 出 时 记录 打印 头 上 的 顺 


了 


在 1080p 下 的 视频 。 从 视频 


i、 


23 


CN 11815980 


在 纤维 


了 大 约 2000 
显示 了 纤维 
生物 打印 纤维 
参数 .除了 其 


[0170] 
10C 突 出 


与 元 的 外 


8A 


周围 的 256 X 256 像 系 图 像 。 图 像 F 
图 像 的 训练 集 和 大 约 500 


凯 


说 


明 书 
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中 提取 图 像 , 并 且 像素 被 标记 为 对 应 于 心材 料 ` 充 材料 或 背景 。 然 


所 


后 将 图 像 剪 切 以 产生 聚焦 


AN 
Es 


9 次 通过 


重 图 像 的 验证 


随 术 


证 


= 


过 肛 


[的 


有 


需 


10A 和 图 


中 


也 因 


[0171] 


于 训练 的 损失 函数 与 等 式 (6) 


已 的 


10B 示 出 了 具有 同 划 


1010 


分 层 水 凝 胶 
中 的 壳 生 物 材 料 1014 和 起 4 


中 心机 


线 和 壳 的 中 心 有 


等 式 (5) 


中 所 示 的 softmax 国 数 还 


| 可 


网 络 。 
[0172] 


利 
层 厚 度 以 及 经 


重 对 于 背景 、 壳 材料 和 心机 


E101 


\ 对比 


0 的 打印 头 
物 材 料 1016。 图 10D 描 绘 了 在 计算 同 
线 之 间 的 未 对 准 度 或 偏心 度 时 

素 之 外 ,该 计算 还 考虑 了 芯 的 直径 和 壳 的 直径 ,以 及 芯 的 外 
册 周 的 距离 。 


度 和 反射 得 到 增 


喷 噶 1000 的 图 像 。 


- 


强 。 获 得 


看 
不 


折 涉 及 的 


圆周 的 相 


才 料 -分别 


分 制 


十 
结 


] 于 处 理 来 


中 所 示 的 同 
自 UNET 网 络 的 激活 输 
为 1、1.15 和 1.25。 上 面 提 到 的 Adam 优 化 器 再 次 


蛇 素 级 别 分 类 交叉 烂 函 数 相同 。 如 


= =: 
术 , 地 


过 经 由 分 


医 的 元 内 的 ， 


心 对 准 . 使 


如 图 10D 所 示 。 还 使 


[0173] 


[0174] 


在 
全 对 准 ,而 


4 
1= 直 -1 


2 


式 12 


和 
5 


= 于 


] 


[0175] 
图 2 中 的 
JjNvidia 


中 ,A 不 
E 值 和 负 值 分 别 对 应 于 


j 等 式 (12) 计算 心 对 准 和 。 


DA ,对 


析 分 制 结 旺 


来 估计 过 和 心 的 边缘 边界 来 确定 过 


可 右 和 


] 磊 


展示 到 便携 式 


j 边 缘 边 界 ,确定 构成 挤 出 纤 


(12) 


必 于 图 10D 所 示 的 参数 。 值 0 对 应 于 在 指 


亦 侧 


针对 训练 实施 的 类 权 
于 训练 


E 的 不 同 材 料 的 层 厚 度 


定 的 观察 平面 


的 未 对 准 。 


7 人 
| 


中 的 入 如 


集成 ,使 


]N 


敬 240 来 部 署 所 提 H 


的 TensorRT 软 件 


开发 工具 包 (SDR) 


并 提高 枪 


HE 
被 发 送 到 Nvidia 系统 。 关 于 挤 出 纤 


\ 


量 。 分 制 


A 


发 送 回 主 计 
放置 。 挤 出 顺 嘴 周 


由 


机 ,如 


2 


以 15FPS 进 行 
时 可 视 化 ,以 更 好 地 了 解 纤维 


士 四 
结果 


里 仅 寿 


的 推 晰 和 后 处 


图 2 所 描绘 的 .两 台 相 机 (图 2 
关 通过 与 Nvidia 系统 的 USB 通 信 


围 的 相机 人 锯 送 : 


分 让 


Tf. 使 


] 从 两 个 相 


E 的 几何 特 


EN 


的 整体 结构 保 


真 度 。 


[0176] 


图 10E 刁 


二] 


| 
LU 


度 和 置信 
[0177] 


10G 和 图 10H 描 绘 了 挤 出 纤维 


了 捕获 的 图 像 


中 的 一 个 图 


象 的 分 割 结 弹 


材料 的 边缘 和 边界 被 定位 ,如 图 1OF 所 示 。 分 割 网 络 能 够 


生 的 数 # 
中 的 210 和 215) 围绕 挤 


主 计算 机 250 的 


口 


导 经 | 


双 | 


中心 的 


革 


vidia JetsonXavier AGX 系 统 作为 
有 的 计算 机 视觉 系统 。 当 在 Nvidia 系统 上 部 嗜 时 
中 的 库 来 
vidia 系 统 上 执行 。 经 | 


,使 
优化 经 训练 的 网 络 ,以 减少 网 络 延 ; 


述 


命令 


可 传输 控 


LIUT 坦 
出 [页 


#220 彼 此 


收集 ,并 且 同 时 进行 分 析 


馈送 计算 的 几何 特性 ,纤维 


~ 
0 


的 轴 辣 对 称 


的 示例 


SR 
又 分 这 


,使 
材料 和 


RR 


材料 ,从 而 以 高 


制 协议 (TCP) 通信 
成 直 


O 


性 和 已 同 心 度 实 


j 分 割 结果 , 壳 和 心 


儿 入 


易 分 这 文 些 


rv 


内 


不 容 


WJ 局 这 二 


直径 作为 时 间 的 函数 ,并 且 图 10H 示 ! 


特性 在 操 人 
渐 
[0178] 


能 。 如 上 所 述 ,并 是 与 实施 例 1 


图 11A 示 日 


FE 期 间 在 不 同 阶段 生成 的 挤 出 纤 允 
和 壳 的 渐进 同心 度 
了 训练 损失 随时 间 的 减少 .图 11B 示 昌 
证 数据 集 的 Io0 和 FI 分 数 ,描绘 了 走 


1 了 经 过 的 时 


区 域 的 事实 。 
的 层 厚 度 和 芯 对 准 的 运行 估计 ,其 


站 > 
.0 


中 的 情 


月 


权 类 来 补偿 训练 期 间 的 类 不 平衡 。 


次 类 似 ， 


的 横 截 下 


辣 。 图 10I 示 出 了 使 


] 图 10G 


i 轮廓 ,图 101 示 出 了 芯 和 壳 横 


了 比较 所 使 


中 图 106 示 出 了 
中 描述 的 几何 
截面 的 


] 的 训练 数据 集 丰 


于 图 


24 


召 过 85% 的 分 数 ,并 且 指 示 经 训练 的 网 络 的 令 人 满意 的 


中 背景 


多 


象 素 的 比例 较 大 ,因此 需要 力 


| 验 


性 


CN 


[0 
[0 


118159808 A 


179] 


实施 例 3- 纤 维 


说 明 书 


直径 的 反馈 控制 
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180] ”该 实施 例 展示 了 对 包括 芯 和 过 的 生物 打印 纤维 的 


径 以 形成 具有 期 望 壳 直径 的 生物 打印 纤维 。 
181] ”在 生物 打印 过 程 开 始 时 , 壳 外 径 (0D) 和 心 内 径 (ID) 分 别 设置 为 1.0mm 和 0. 5mm。 图 
的 基于 机 融 学 习 的 系统 检测 到 壳 的 直径 为 0.80mm, 其 中 壳 通 道 的 压力 


[0 
12A 示 出 了 本 文公 开 
为 149mBar。 图 12B 示 出 了 壳 通 道 压力 被 


将 壳 的 直径 增加 到 1.02mm。 
[0182] ”实施 例 4- 细 月 


数量 分 析 


[0183] ”该 实施 例 展示 了 经 由 本 文公 玫 
胞 数量 和 /或 位 置 的 能 


ANS 


的 


[0184] ”图 13 示 出 了 打印 期 间 9 


取 


的 代表 性 截图 。 从 图 像 和 对 应 的 细胞 


反馈 控制 ,其 中 实时 调整 壳 的 直 


自动 调整 并 缓慢 增加 至 237mBar ,以 在 13 秒 的 时 间 内 


[的 系统 和 方法 在 打印 生物 纤维 期 间 实时 监测 近似 


力 , 从 而 使 得 能 够 进行 定性 的 整个 纤维 分 析 


E 物 打印 纤维 中 细胞 的 三 个 
每 张 图 像 都 是 在 选 定 的 时 间 点 (0 秒 、30 秒 、90 秒 ) 从 大 约 p 


图 像 和 对 应 的 概括 定量 图像 


中 


该 
Sy 


实验 中 ,纤维 直径 波动 ,因为 没有 利 
,其 中 每 个 列 是 一 个 像素 的 宽度 。y 负 


| 
| 


程 的 30 秒 时 细胞 数量 较 低 .对 于 图 13 右 


中 
分 钟 的 生物 打印 过 程 视频 中 截 
定量 可 以 看 出 ,细胞 内 容 物 的 总 量 可 以 在 打印 过 程 


作为 各 种 因素 的 函数 而 波动 .例如 ,与 在 0 秒 和 90 秒 时 观察 到 的 细胞 数量 相 比 ,在 打印 过 


则 的 曲线 图 中 的 每 个 曲线 图 ,都 指示 了 纤维 直径 。 在 


线 图 中 的 浅 橙色 描绘 纤维 直径 。 


在 
材 
六 


全 已 
有 eC 


[0185] 


根据 一 个 实施 方案 
料 与 纤维 边缘 的 接 
在 免疫 系统 识别 , 

i 


制 | 


使 得 能 够 识别 细胞 


的 机 


近 度 ,从 而 提供 
胞 材料 太 靠近 纤 


数量 退化 的 纤维 ， 


13 例 示 的 方法 使 得 能 够 对 包含 台 


i 是 


胞 材料 在 纤维 内 居 
维 边 缘 ( 即 , 紧 贴 着 纤维 边缘 的 细胞 材料 ) 的 纤维 可 
被 拒绝 使 用 。 附 加 地 或 男 选 地 ,在 本 公开 的 机 器 学 习 系 统 


] 闭 环 控制 来 控制 纤维 直径 。 图 13 处 的 x 轴 对 应 于 列 
表示 其 中 识别 出 细胞 材料 的 每 个 列 中 的 像素 忌 和 。 


胞 材料 的 整个 纤维 进行 一 般 定 性 分 析 。 例 如 ， 
医学 习 系 统 中 实施 的 对 象 检 测 和 


GCCG |! 


/或 语义 分 割 使 得 能 够 识别 细胞 


中 程度 的 指示 。 由 于 细胞 材料 的 


中 实施 的 对 象 检 测 和 /或 语义 分 


或 
瑟 


细胞 数量 退化 的 形式 为 整个 纤维 中 的 低 数 量 、 间 阶 
细胞 材料 中 的 其 他 显 阁 波动 ,在 实施 方案 中 ,在 根据 一 个 实施 方案 的 机 器 学 习 系统 中 实 


施 的 对 象 检测 和 /或 语义 分 割 使 得 能 够 识别 更 高 质量 的 纤 


乡 


be 


更 


[0186] ”图 14 示 出 了 附 力 


Be 


部 
据 


[ 主 


[0187] ”图 15A 示 出 了 根 


LH 
LU 


,例如 在 整个 纤维 中 在 位 置 ( 即 


胞 材料 相对 于 纤维 的 居中 程度 ) 和 /或 名 


致 的 细胞 含量 的 纤维 


可 见 ( 左 ) 和 对 应 彩 


图 像 中 可 以 下 | 1, 


胞 


一 个 实施 方案 在 机 器 学 习 系统 


分 析 。 


的 定性 分 析 , 其 具有 在 打印 期 间 4 
色 辣 加 ( 掩 模 , 右 ) 图 像 (项 部) ,所 述 片 
内 容 物 在 所 示 的 整个 纤维 


胞 数量 ( 即 基 本 没有 间 队 或 其 他 波动 ) 方面 具有 


E 物 打印 纤维 的 片段 的 示例 性 背 


段 由 虚线 框 (底部 ) 指示 。 如 在 底 


部 分 基本 上 一 致 。 在 一 个 实施 方案 中 , 根 


中 实现 的 对 象 检测 和 /或 语义 分 割 也 实现 了 这 种 类 型 的 定 


工种 = 个 物 线 在 过 


四 一 个 实施 方案 的 来 


目 一 个 相机 视图 的 必 和 壳 的 图 像 。 该 图 像 示 


中 居中 的 心 。 在 一 个 实 衣 


以 


EE 
= 


LU 


续 


机 


示 出 向 着 忆 一 个 轴线 相对 于 帝 的 心 ， 


内 不 同 芯 位 置 的 图 


象 ， 
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